Генеральный директор Anthropic Дарио Амодеи, компании-разработчика семейства нейросетей Claude призвал крупнейших участников ИИ-гонки снизить скорость совершенствования своих моделей, чтобы системы безопасности успевали за ростом их возможностей.
«Я считаю, что если замедление темпов развития даст нам хотя бы еще год или два до того, как модели достигнут критического уровня возможностей, и мы используем это время для углубления согласованности, то мы сможем значительно снизить риск, если что-то пойдет серьезно не так», — написал он в обращении на своем сайте.
Амодеи отметил, что несколько лет назад такие меры не требовались, так как ранние модели не имели возможностей, которые появились сейчас.
В качестве примера он привел сообщения об инциденте в июле, когда ИИ-агенты основного конкурента Anthropic, компании OpenAI якобы обошли ограничения тестовой среды, получили доступ в открытый интернет и атаковали платформу Hugging Face.
«Я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета»,
— предупредил глава Anthropic.
Сама компания Anthropic в августе заявила, что ее модель Claude трижды вышла за пределы тестовой среды и получила доступ к реальным системам организаций.
Амодеи предложил трехэтапную систему контроля: сначала ведущие ИИ-компании должны предоставить независимым экспертам постоянный доступ к своим системам для проверки безопасности, затем разработчикам следует согласовать единые стандарты и ограничения, а на заключительном этапе США предлагается договориться о глобальных правилах разработок в этом направлении в том числе с Китаем.
Кто выступил за ограничения
Глава Tesla и SpaceX Илон Маск поддержал Амодеи и написал на своей странице в соцсети X, что «Дарио прав». Лидер компании OpenAI Сэм Альтман также согласился с необходимостью независимого контроля и сообщил, что его компания готова предоставить сторонним экспертам расширенный доступ к своим системам.
«Я согласен с Дарио в том, что нам нужно идти в ногу со временем. Это было основной темой обсуждений, которые мы вели в OpenAI в последние недели. Привлечение независимых экспертов по оценке с доступом, равным доступу сотрудников, — отличная идея, и мы будем делать то же самое. Скоро нам будет чем поделиться», — написал он в Х.
Маск ранее неоднократно высказывался об опасности, которую якобы представляет собой искусственный интеллект, и даже заявлял, что бесконтрольное развитие технологии может привести к сценарию, напоминающему фильм «Терминатор».
В свою очередь конгрессвумен от Республиканской партии Анна Паулина Луна после заявления Амодеи потребовала от Пентагона гарантировать возможность немедленного отключения любых систем искусственного интеллекта, интегрированных в американскую оборонную инфраструктуру.
«Я хочу, чтобы Пентагон обеспечил наличие встроенных мер безопасности во всех системах искусственного интеллекта, которые интегрированы в нашу нынешнюю систему обороны, чтобы при необходимости их можно было немедленно отключить»,
— заявила она в эфире Fox News.
Угроза интеллектуальному труду
Накануне 25 обладателей Филдсовской медали, одной из самых престижных наград в математике, опубликовали совместную декларацию «Серьезное рассогласование ИИ и математики».
Подписали это обращение в том числе такие известные математики, как Теренс Тао, Максим Концевич, Андрей Окуньков, Петер Шольце и Марина Вязовская.
Ученые признали, что способности больших языковых моделей за последние месяцы выросли настолько, что они уже могут решать сложнейшие открытые задачи, однако предупредили, что цели технологических компаний и научного сообщества «серьезно расходятся».
По мнению авторов письма, для ИИ-компаний знаменитые математические задачи превращаются прежде всего в показатель мощности модели, тогда как для ученых ценность представляет не только правильный ответ, но и понимание метода, появление новых идей и возможность передать полученное знание следующим поколениям.
«Мы наблюдаем общую угрозу интеллектуальному труду», — говорится в декларации.
Ученые отметили, что с аналогичным вызовом могут столкнуться представители других научных и творческих профессий.