Компания Anthropic предупредила о рисках стремительного развития искусственного интеллекта и призвала к более осторожному подходу в создании передовых ИИ-систем. В опубликованном исследовании Anthropic Institute говорится, что современные модели уже начинают ускорять разработку новых ИИ, что в перспективе может привести к потере человеком контроля над технологией.
В компании обратили внимание на сценарий так называемого рекурсивного самосовершенствования, при котором искусственный интеллект самостоятельно проектирует и улучшает следующие поколения ИИ без прямого участия людей. По данным Anthropic, современные системы уже выполняют все больше задач в области программирования и исследований, которые ранее решались исключительно специалистами.
Как отмечают в компании, по состоянию на май 2026 года более 80% кода, интегрируемого в продукты Anthropic, было написано моделями Claude. До появления Claude Code в начале 2025 года этот показатель составлял лишь несколько процентов. Благодаря использованию ИИ объем программного кода, выпускаемого инженерами компании за квартал, вырос примерно в восемь раз по сравнению с периодом 2021–2024 годов.
Компания описала три возможных сценария дальнейшего развития отрасли. Первый предполагает замедление прогресса из-за технических ограничений, второй — активную автоматизацию исследований и разработки при сохранении стратегического контроля за людьми. Третий вариант предусматривает появление систем, способных полностью самостоятельно создавать все более совершенные версии ИИ.
В Anthropic признают, что пока неизвестно, способны ли современные архитектуры достичь такого уровня развития. Однако компания предупреждает, что в случае появления подобных возможностей особое значение приобретет задача согласования целей ИИ с интересами человека. По мнению исследователей, даже незначительные отклонения в поведении моделей могут накапливаться в последующих поколениях самосовершенствующихся систем и становиться все сложнее для обнаружения и контроля.
На этом фоне Anthropic призвала к более широкому обсуждению механизмов, которые позволили бы замедлить или временно приостановить развитие передовых ИИ-технологий, если исследования в области безопасности и общественные механизмы контроля не будут успевать за темпами прогресса.
Ранее исследователи выяснили, чего хакеры хотят от ИИ.