Ученые Центра практического искусственного интеллекта Сбера совместно со специалистами Института AIRI представили открытый бенчмарк SAASBench. Об этом сообщили в пресс-службе банка.
Новый открытый бенчмарк предназначен для оценки ИИ-моделей, которые применяются при разработке лекарств на основе антител.
В Сбере уточнили, что антитела представляют собой белки иммунной системы, распознающие определенные молекулы — антигены. На основе антител создаются современные препараты для лечения онкологических, аутоиммунных и инфекционных заболеваний. При этом ИИ-модели применяются до лабораторных экспериментов для выбора перспективных вариантов антител.
Исследователи проверили специфичность — способность антитела связываться с нужным антигеном и не реагировать на похожие белки человека. В SAASBench вошли 20 клинически одобренных антител. Для каждого варианта модель получила шесть возможных мишеней: один правильный антиген и пять похожих белков человека.
Всего ученые сформировали 120 смоделированных комплексов «антитело — антиген». С помощью SAASBench исследователи протестировали пять распространенных вычислительных подходов.
Бенчмарк показал различия между оценкой аффинности и специфичности. При этом отмечается, что хорошие результаты при оценке силы связывания антитела с антигеном не гарантируют точного выбора нужной мишени среди похожих белков.
«Мы решили проверить искусственный интеллект на прагматичный вопрос: найдет ли он среди нескольких похожих белков именно тот, с которым должно работать антитело. Для этого разработали SAASBench — инструмент для сравнения ИИ-моделей на ранних этапах создания антител», — сказал старший управляющий директор, директор по ИИ-трансформации Сбера Сергей Рябов.
По его словам, бенчмарк не заменяет лабораторные исследования, но помогает отсеивать ненадежные вычислительные подходы.
«Умение связываться с белком и умение связываться с нужным белком — далеко не одно и то же. Если модель ошибается заранее, вся команда рискует впустую потратить ресурсы. SAASBench позволяет заметить проблему до того, как она ударит по бюджету», — добавил Рябов.