Исследователи Центра практического искусственного интеллекта Сбера и НИУ ВШЭ предложили способ оценивать качество векторных представлений без участия человека и размеченных данных. Об этом сообщает пресс-служба банка.
Отмечается, что специализированная метрика Persistence помогает выбрать архитектуру модели и момент остановки обучения, что позволит сэкономить GPU-часы и ускорить выход ИИ-решений в реальный бизнес. Статья с результатами исследования приняты на конференцию ECIR 2026 в Делфте.
«До появления специализированной метрики аналитики данных выбирали архитектуру и момент остановки обучения модели вслепую или через ресурсозатратные эксперименты с разметкой. Это требовало сотен GPU-часов и замедляло вывод моделей в прод», — отметил директор департамента развития ИИ-решений Сбера Сергей Рябов.
По его словам, метрика автоматически оценивает качество эмбеддингов по их внутренней геометрии.
«Обучают несколько конфигураций — Persistence указывает лучшую. Или обучают одну модель — метрика определяет эпоху остановки, избегая переобучения. В результате происходит экономия ресурсов, развиваются универсальные модели, устойчивые к сдвигам распределения данных», — добавил он.
Метрика основана на топологическом анализе данных и фильтрации Вьеториса–Рипса. Она превосходит зарубежные аналоги RankMe, α-ReQ, NESum и SelfCluster по корреляции с качеством на прикладных задачах.
Отмечается, что Persistence оценивает качество модели без лишних задач и находит оптимальную эпоху обучения, когда эмбеддинги максимально структурированы (без пере- или недообучения). Таким образом компании будут тратить меньше ресурсов на эксперименты и быстрее запускать лучшую модель. При этом метрика подходит для любых бизнес-задач, а эмбеддинги не заточены под один классификатор.
Решение позволяет получать более точные рекомендации в онлайн-кинотеатрах и маркетплейсах, улучшит работу голосовых помощников и ускорит внедрение ИИ в медицину.