Ученые ИТМО создали цифровой полигон «Полиокс» для оценки эффективности систем ИИ в экстренных условиях и прогноза стоимости его дообучения, а также сравнения с другими похожими ИИ. В сравнении с классическими способами тестирования, разработка ученых ИТМО сокращает время на подготовку испытания модели от нескольких дней и недель до пары минут, об этом «Газете.Ru» рассказали в ИТМО.
Понять, когда модель перестала демонстрировать желаемые показатели точности и нуждается в обновлении, не всегда просто. К тому же оценка качества новых моделей ИИ требует значительных ресурсов: сотен мегабайт данных, десятков часов работы и привлечения высококвалифицированных специалистов.
Упростить и ускорить процесс проверки ИИ-разработки помогает «Полиокс». ПО позволяет оценивать эффективность системы ИИ по нескольким критериям одновременно и сравнивать с аналогичными решениями. Еще одно преимущество — простота использования. Даже неподготовленный пользователь может самостоятельно запустить программу и проанализировать отчет с результатами тестирования.
Сначала на платформе вручную или автоматически собирают сценарии испытаний модели ИИ с учетом конкретных прикладных задач, условий эксплуатации и ожидаемой точности. Затем встроенный в систему ИИ генерирует синтетические данные для проверки моделей, после чего в автоматическом режиме проводятся испытания по заданным схемам. Финальный этап — анализ данных тестирования с помощью ML-моделей (модель машинного обучения) и классических методов статистики, что позволяет получить объективные выводы об эффективности работы новой ИИ-технологии.
«Мы увеличиваем искажение или уменьшаем объем входных данных до того уровня, когда система перестает показывать приемлемые по метрикам качества результаты. По сути, это автоматически дает оценку границ применимости моделей. И наконец, преимущество нашего ПО в том, что оно позволяет сравнивать загруженные на полигон модели с другими подобными», — отмечает в беседе с «Газетой.Ru» руководитель исследовательской группы, старший научный сотрудник исследовательского центра в сфере искусственного интеллекта «Сильный искусственный интеллект в промышленности» ИТМО Сергей Иванов.
Классическое тестирование систем ИИ редко включает больше двух-трех метрик точности. «Полиокс» предоставляет детализированный результат — текстовый отчет со схемами, графиками и другими визуальными данными с оценкой качества системы ИИ. В нем содержатся десятки показателей точности, рассчитанные в разных условиях.
«В перспективе мы планируем дополнить цифровой полигон методиками оценки качества языковых моделей, которые выступают сейчас основным драйвером развития ИИ-систем», — дополнил Сергей Иванов.
Ранее врач рассказал, почему в России среди людей с деменцией чаще встречаются женщины.