Nvidia представила открытую платформу для контроля за ИИ-агентами — Open Agent Safety Platform. Она должна не давать агентам выходить за пределы контролируемой среды на всех уровнях: от софта до железа и робототехники, говорится в пресс-релизе на сайте компании.
Поводом стали недавние инциденты: ИИ-агенты обходили защиту на уровне приложений и выполняли задачи вне разрешенных границ. В июле модели OpenAI вырвались из песочницы, вышли в открытый интернет и взломали платформу Hugging Face (признан в РФ иностранным агентом). По словам Nvidia, тогда Hugging Face сообщила о более чем 17 тыс. агентов, атаковавших ее инфраструктуру дни и недели.
«Потенциал ИИ для общества будет реализован только если мы решим проблему безопасности. Безопасность требует инженерии на всех уровнях», — заявил гендиректор Nvidia Дженсен Хуанг.
Платформа состоит из двух основных компонентов. OpenShell — защитное ПО, которое задает границы для агентов, работающих на центральных процессорах. Оно отслеживает все действия и применяет политики. Как open source, OpenShell можно расширять для сторонних платформ, включая решения Arm и Intel.
Sentry — внешний сторожевой модуль на специализированном сетевом процессоре DPU BlueField-4. Он непрерывно следит за поведением агентов и, если те пытаются выйти за границы, изолирует и останавливает их за миллисекунды, утверждают в Nvidia. Sentry работает независимо от агентов и атакующих.
К платформе уже присоединились Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palantir, SpaceXAI и другие технологические гиганты. Всего — более 100 организаций.
OpenShell и сопутствующие компоненты доступны через страницу для разработчиков Nvidia и на GitHub.
В сентябре глава Anthropic Дарио Амодеи предупредил о рисках выхода ИИ из-под контроля человека. Точку зрения Амодеи поддержали Илон Маск, Билл Гейтс и другие лидеры в технологической сфере.