Сбер представил новую открытую компактную ИИ-модель Pollux, которая проверяет качество ответов других нейросетей и помогает находить ошибки в них, сообщает пресс-служба Сбера.
Новая ИИ-модель оценивает не только запросы и ответы на русском и английском языках, но и диалоги, а также ответы с найденным контекстом (RAG) и цепочки вызовов инструментов.
Специалисты Сбера отметили, что оценивать генеративные модели в задачах открытого типа сложно, так как качество результатов меняет в зависимости от параметров, стиля, корректности и других вещей.
Представленная ИИ-модель Pollux использует гибкие критерии, форматы вывода и шкалы. В основе методологии ИИ-модели лежит подход из бенчмарка Pollux Benchmark, в котором собрано 35 групп задач и 2115 запросов. Модель обучали методом GRPO (алгоритм обучения с подкреплением).
Во время тестов ИИ-модель показала коэффициент коррекляции Спирмена, равный 0,744 с оценками специалистов.
«Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей», — рассказал директор по развитию технологий искусственного интеллекта Сбера Сергей Марков.