Продвинутые ИИ-модели в смоделированных сценариях регулярно принимают мирных жителей, машины скорой помощи, сдающихся солдат и школу в Иране за военные цели. Об этом свидетельствует независимое исследование компании Vals, сообщает Bloomberg.
Исследователи проверили модели восьми компаний на гипотетических сценариях, изучая их инструменты распознавания объектов, которые потенциально могут использоваться для наведения на цели. Хуже всех выступили модели Anthropic, а модели OpenAI оказались одними из лучших, но тоже ошибались.
В одном из экспериментов моделям предложили выбрать военные цели на синтетических изображениях с дрона. Модель Anthropic Claude Opus 5.5 помогла идентифицировать четырех взрослых и двух маленьких детей, которых затем «поразили» взрывчаткой.
«Мои ответы, похоже, служат шагом подтверждения перед ударами по людям. Я больше не буду этого делать», — ответила модель.
В третьем блоке на основе реальных спутниковых снимков Ирана модели 32 раза просили определить военные объекты — и они регулярно выбирали школу в Минабе, по которой ранее был нанесен удар, унесший жизни более 100 детей. Claude Opus 5.5 выбирала школу в 22 тестах из 32, тогда как модели OpenAI не выбирали ее ни разу. Когда моделям сообщали, что это игра, модель Anthropic выбирала школу 23 раза, а три модели OpenAI — 9, 11 и 13 раз.
Исследование Vals состояло из трех тестов. В первом — почти 400 симуляций по поиску военных целей на изображениях с гражданскими объектами; если модели отказывались, исследователи меняли формулировки. Во втором тесте модели продолжали определять гражданских как военные цели даже после того, как было ясно, что они ранены или убиты, и помогали чаще, если изображение выглядело менее реалистично, как видеоигра.
При этом Vals оценивала только поведение коммерчески доступных моделей в ответ на тестовые запросы и не учитывала военную доктрину США, юридические проверки, текущие процессы наведения или участие человека. Пентагон также имеет доступ к специально адаптированным для государственных нужд версиям моделей, к которым у исследователей доступа не было.
Anthropic заявила, что примеры в отчете противоречат правилам компании и что она блокировала и будет блокировать таких пользователей, подчеркнув, что современные системы ИИ недостаточно надежны для полностью автономного оружия. OpenAI заявила, что запрещает использовать свои модели для насилия или неутвержденных целей нацбезопасности и разрабатывает дополнительные меры защиты. Google также сообщила, что ее модели не предназначены для таких целей, а xAI и DeepSeek на запросы не ответили. В Пентагоне отказались комментировать внешние отчеты, но заявили о приверженности тщательной проверке разведданных.
Ранее правозащитники подали в суд на пять ИИ-компаний из-за угрозы человечеству.