Сбер выпустил Cowork Bench — первый отечественный открытый бенчмарк, который без участия человека оценивает способность ИИ-агентов выполнять офисные задачи. Об этом рассказал старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев на инженерном дне конференции «ГигаКонф».
«На данный момент нет российских бенчмарков-аналогов, которые оценивают способность ИИ-агентов выполнять офисные задачи от начала до конца, учитывая специфику компаний России — их корпоративные системы, сценарии и запросы. Cowork Bench — первый бенчмарк в таком классе, он помогает оценить, насколько хорошо агенты справляются с реальными рабочими процессами и какую их часть могут забрать на себя», — рассказал Белевцев.
Он подчеркнул, что Cowork Bench открыт для доступа любым разработчикам и компаниям.
Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В основу легли международные практики, адаптированные под российский бизнес: сценарии учитывают реальные запросы отечественных компаний и включают работу с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами организаций.
Существующие бенчмарки оценивают возможности моделей — знания, рассуждения, решение математических задач или написание кода. Эти оценки полезны, но сами по себе не показывают, сможет ли система подготовить квартальный анализ бюджета и довести результаты до ответственных руководителей.
По словам Белевцева тестирование показало, что эффективность ИИ-агентов для офисной работы больше зависит от программной оболочки, которая управляет контекстом, памятью, инструментами и интеграцией агентов с корпоративными системами, чем от модели нейросети. Он отметил, что российская платформа GigaCowork вошла в число лидеров, выполнив 75,2% задач.