Искусственному интеллекту не следует давать право самостоятельно проводить платежи, менять реквизиты и доступы, работать с чувствительными данными и отправлять сообщения от имени сотрудников. Об этом «Газете.Ru» рассказал заместитель генерального директора по информационной безопасности АО «КИВИ» Алексей Юдин.
«Рабочие задачи следует оценивать по возможным последствиям ошибки и уровню самостоятельности системы. ИИ может подготовить письмо, расшифровать встречу или провести первичный анализ данных, если итог проверит специалист. Риски резко возрастают, когда модель получает возможность не только предложить решение, но и исполнить его. Особенно это касается ИИ-агентов. Они способны самостоятельно открыть письмо, извлечь информацию, войти в другую систему и совершить действие с использованием учетных данных сотрудника. Для корпоративной инфраструктуры такая операция может выглядеть как выполненная человеком», — отметил Юдин.
По его словам, опасность усиливает масштабирование: ошибку сотрудника обычно можно вовремя заметить, тогда как автоматизированная система способна повторить ее сотни или тысячи раз.
Чем сложнее отменить действие и чем серьезнее его последствия для клиента или компании, тем меньше оснований полностью исключать человека из процесса, подчеркнул эксперт.
Он добавил, что ИИ-агентам рекомендуется создавать отдельные учетные записи и предоставлять только необходимые для конкретной задачи права. Платежи, изменение доступов и другие чувствительные операции должны подтверждаться человеком, добавил Юдин. Действия системы также необходимо записывать в журнал и предусмотреть возможность ее немедленной остановки, заключил эксперт.
Ранее стало известно, как ИИ изменит рабочий день россиян.