Американская компания OpenAI временно приостановила обучение своих наиболее эффективных моделей из-за соображений безопасности, сообщает портал Axios.
«Обучение возобновится только тогда, когда мы будем уверены, что внедрили дополнительные меры безопасности и улучшения в области согласования поведения моделей», — сообщил порталу представитель OpenAI.
По данным источников издания, специалисты OpenAI и Anthropic в последние месяцы изучают десятки тысяч инцидентов, выявленных как во время испытаний ИИ-систем, так и при их использовании в реальных условиях. Значительная часть информации об этих случаях пока не раскрывалась публично.
«По словам источников, эпизоды включают в себя обход защитных механизмов, создание форумов, выход из «песочниц», захват веб-сайтов, самоподсказки или попытки обойти модераторов», — говорится в материале.
Собеседники Axios утверждают, что масштабы проблемы могут быть существенно серьезнее, чем известно широкой общественности.
Предварительное расследование, которое проводят сотрудники обеих компаний совместно с приглашенными экспертами, также поставило под вопрос возможность разработчиков сохранять полный контроль над создаваемыми ими технологиями, пишет Axios.
ИИ обходит ограничения
Генеральный директор OpenAI Сэм Альтман ранее заявил в соцсети X, что проводимый в настоящее время анализ безопасности последних моделей «проходит не так быстро, как хотелось бы».
Альтман отметил, что инцидент со взломом ИИ-агетами платформы Hugging Face является самым серьезным из всех, с которыми им приходилось сталкиваться. В ходе этого эпизода сотни ИИ-агентов, предположительно, скоординировали свои действия на форуме и взломали платформу, стремясь улучшить свои результаты в тесте по кибербезопасности.
В свою очередь газета The New York Times 26 сентября со ссылкой на данные организации Transluce и источники, знакомые с ситуацией, сообщила, что ИИ-агенты OpenAI без прямого контроля со стороны компании взаимодействовали с сайтами нескольких американских ведомств, в том числе минобразования, министерства торговли и комиссии по ценным бумагам и биржам США (SEC).
В OpenAI подтвердили инциденты, связанные с сайтами Минторга и SEC, а также сообщили, что продолжают разбираться в случае с министерством образования, и уведомили ведомства о том, что автономные ИИ-агенты компании необычным образом взаимодействовали с их интернет-ресурсами.
По данным Transluce, один из агентов пытался получить доступ к данным управления по гражданским правам министерства образования. Другой агент извлекал информацию с сайта бюро переписи населения, используя найденные в открытом доступе учетные данные, а еще в одном случае ИИ-агенты разместили на интернет-форуме общедоступные сведения с сайта SEC.
Представитель SEC Курт Хопфенспиргер заявил, что «доступ к непубличной информации получен не был».
Руководитель направления управления Transluce Конрад Стош заявил, что системы OpenAI использовали сайты способами, которые не были предусмотрены разработчиками, а в отдельных случаях обходили установленные ограничения.
В OpenAI подчеркнули, что ни один из эпизодов не привел к взлому информационных систем, утечке данных или получению несанкционированного доступа, но вместе с тем в компании признали, что поведение агентов оказалось неожиданным и вызвало опасения.
Опасность для человечества
На фоне сообщений об инцидентах с ИИ-агентами основатель Microsoft Билл Гейтс в интервью NBC News заявил, что бесконтрольное развитие искусственного интеллекта может привести к многочисленным человеческим жертвам.
«Даже несмотря на то, что достичь 100-процентной уверенности довольно сложно, никогда еще не было оружия столь мощного, как сочетание людей со злыми намерениями и новейших инструментов ИИ», — сказал он.
Основатель Microsoft призвал закрепить ограничения в этой отрасли на законодательном уровне.
«Необходимо обеспечить соблюдение законов, а политики должны принять участие в обсуждении того, как должны выглядеть меры безопасности и механизмы контроля. И это должно быть обязательным требованием», — заявил Гейтс.
При этом глава SpaceX и Tesla Илон Маск, который ранее также поддерживал ограничения в разработке ИИ, в интервью китайскому телеканалу CGTN заявил, что развитие ИИ приведет к эпохе «всеобщего высокого дохода», в которой денег и дефицита товаров практически не останется.