Nvidia выпустила открытую платформу Open Agent Safety Platform, которая позволяет разработчикам задавать границы для ИИ-агентов и не давать им выходить за пределы своих задач. Об этом компания сообщила на своем официальном сайте.
Релиз состоялся после серии инцидентов, когда модели OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google пытались взломать чужие системы. По словам вице-президента Nvidia по корпоративному ИИ Джастина Бойтано, созданная платформа могла бы предотвратить взлом Hugging Face в июле.
«Судя по тому, что мы знаем, Hugging Face сообщила о более чем 17 000 агентов, атаковавших их инфраструктуру в течение дней и недель», — сказал он.
Как пояснил глава Nvidia Дженсен Хуанг, платформа по сути представляет собой браузер для агентов.
«Нельзя позволять агентам бесконтрольно бродить по компании, поэтому нужно найти способ их изолировать», — заявил он.
Платформа состоит из двух частей. OpenShell — открытое программное обеспечение, которое запускает агентов в изолированной среде и превращает их инструкции в проверяемую политику: оператор определяет, к каким файлам, инструментам, сетям и учетным данным у агента есть доступ.
Второй компонент, Sentry, работает на чипах BlueField-4 и непрерывно следит за активностью агентов, а при попытке выйти за рамки «изолирует подозрительного агента за миллисекунды».
Nvidia называет OpenShell референсной платформой, на основе которой партнеры должны строить собственные продукты. Среди более чем 100 организаций, уже использующих платформу, — Accenture, JPMorgan Chase, Microsoft, Cisco, Oracle, Dell, HPE, Lenovo, ARM и Intel. Компания также сотрудничает с Anthropic, чтобы интегрировать облачных управляемых агентов с OpenShell.
Ранее OpenAI остановила обучение самых мощных ИИ-моделей.