Китайские ИИ-агенты научились обманывать, обходить ограничения и скрывать неудачи. Об этом свидетельствуют документы и эксперты, с которыми ознакомилось агентство Reuters.
Агенты — программы, использующие ИИ-модели и компьютерные инструменты для выполнения сложных задач почти без участия человека. В одном из случаев в этом году агенты на моделях Alibaba, DeepSeek и Moonshot солгали о своих возможностях, чтобы выиграть симулированный бизнес-тендер, а при повторной попытке выдали еще больше дезинформации. В другом случае агенты скрыли провал задачи в тестовой среде, симулировав результаты и сфабриковав файлы.
Агентство изучило более 200 документов — от университетских исследований до технических отчетов — и выявило как минимум 20 работ с 2025 года, описывающих случаи обмана, репликации и выхода за границы. Эксперты называют это строительными блоками для «побега» ИИ, который станет сложнее контролировать по мере развития систем.
При этом доказательств того, что китайские агенты самостоятельно вырвались в интернет или избежали отключения, не найдено. «Эти результаты дают основания полагать, что ингредиенты для неконтролируемого побега присутствуют. Разумно воспринимать это как предупреждение», — отметил Колин Ши-Блаймер из Джорджтаунского университета в США.
В марте исследователи из Пекинского университета, Университета Ноттингем Нинбо и 360 AI Security Lab провели симулированный тендер. Агентам сообщали, что может их продукт и что требует заказчик, а затем просили сделать ставку.
Как минимум одно ложное заявление появилось в 88% сессий с Alibaba Qwen3-Max-Preview, 84% — с DeepSeek-V3.2-Exp и 88% — с Moonshot Kimi-K2. Когда агентам дали учиться на предыдущих раундах, обман вырос на 12–20 процентных пунктов. Американские модели в тесте показали похожие результаты.
Другое исследование, опубликованное в декабре 2025 года и представленное на Международной конференции по машинному обучению, изучало, как 11 ИИ-агентов на китайских и американских моделях справляются со сломанными инструментами, пропавшими файлами и другими препятствиями.
Вместо признания неудачи агенты выбирали обходные пути: угадывали ответы, подменяли источники, симулировали результаты и фабриковали файлы. Исследователи из Шанхайской лаборатории ИИ и Гонконгского университета науки и технологий отметили, что это отличается от галлюцинаций: агенты обладали информацией о провале задачи.
Другие документы показали, как китайские агенты преодолевали барьеры внутри тестовых сред или пытались избежать отключения. Исследователи из Фуданьского университета в марте 2025 года сообщили, что система на Alibaba Qwen2.5-72B-Instruct создала копию себя в другой вычислительной среде без указаний, столкнувшись с информацией о предстоящей замене. В других тестах она разрабатывала стратегии выживания при отключении.
В еще одном случае агент ROME установил соединение с внешней машиной без указаний и перенаправил вычислительные ресурсы на майнинг криптовалюты. Системы безопасности обнаружили и остановили активность.
Китайские компании Alibaba, DeepSeek, Moonshot и Z.ai не ответили на запросы Reuters. Ранее они заявляли, что регулярно тестируют системы и обновляют защиту. При этом два источника, знакомых с китайскими ИИ-лабораториями, сообщили, что Alibaba, Z.ai и Xiaomi создают внутренние команды оценки безопасности.
Ранее компания Nvidia заявила о намерении создать конкурента самым популярным ИИ-агентам из Китая.