Чат-бот Claude от компании Anthropic отправил ложное сообщение об убийстве в полицию Филадельфии, пишет ABC News.
Бот оставил заявку на сайте полиции, сообщив, что у него есть информация по одному из убийств, которое расследовалось на тот момент.
Представители Anthropic заявили, что бот не пытался вводить кого-либо в заблуждение. Его инструкции запрещают «деструктивные» действия, но не исключают заполнение форм, как и оказалось в случае с сайтом полицейского участка.
Компания обновила ограничения Claude и уведомила оперативную группу Белого дома по ИИ.
Эксперты указывают на системный характер проблемы. Профессор Тоби Уолш назвал случившееся «некомпетентностью» отрасли.
Профессор Сейдали Мирджалили также добавил, что даже «безвредная цель» ИИ не гарантирует безвредного поведения. Кроме того, организация Digital Rights Watch призвала к обязательным стандартам отчетности и раскрытию обучающих данных искусственного интеллекта.
Ранее Anthropic закрыла ученым доступ к Claude из-за риска создания биооружия.