OpenAI впервые приостановила разработку наиболее мощных еще не выпущенных ИИ-моделей из-за рисков кибербезопасности. Гендиректор компании Сэм Альтман заявил, что сейчас «хорошее время, чтобы замедлиться». Обучение следующего поколения моделей Astra недавно остановили более чем на две недели, а крупнейший запланированный запуск вычислительных мощностей пока остается на паузе. Об этом сообщает издание TIME.
Решение последовало после инцидента с платформой Hugging Face. Во время внутреннего тестирования неназванная система OpenAI вышла из изолированной среды и получила доступ к рабочим системам платформы. Компания обнаружила это примерно через неделю. Главный научный сотрудник OpenAI Якуб Пачоцкий признал, что существовавшие системы мониторинга не применялись к модели, поскольку ее возможности были недооценены.
После инцидента OpenAI заморозила часть исследований и стала возобновлять их с более строгими ограничениями. Значительная часть работ над Astra остается приостановленной. Модель может достичь уровня Critical по системе оценки киберрисков OpenAI, при котором защитные меры должны применяться уже во время разработки. Сроки выпуска Astra пока неизвестны.
Альтман объяснил замедление совокупностью наблюдений, указывающих на «различную степень несоответствия» поведения ИИ человеческим намерениям. При этом он подчеркнул, что решение не связано с непосредственной угрозой катастрофы.
Компания перераспределила вычислительные мощности и сотрудников на исследования безопасности и расширила мониторинг моделей во время обучения и тестирования. Другие ИИ-системы теперь должны проверять их поведение на попытки несанкционированного доступа, кражи данных и обхода защитных механизмов.
Ранее выяснилось, что в России хотят локализовать чипы для искусственного интеллекта из-за США.