Нейросеть Сбера «ГигаЧат» подтвердила уровень знаний, сопоставимый с выпускником магистратуры по направлению «Математика и компьютерные науки». По итогам аттестации, прошедшей на базе Сколтеха, модель получила оценку 4 («хорошо»). Об этом «Газете.Ru» сообщили в пресс-службе образовательного учреждения.
Экзамен состоял из двух этапов. Сначала нейросеть прошла тестирование в формате MMLU: ей предложили 500 уникальных вопросов закрытого типа, разработанных преподавателями Сколтеха. Задания охватывали девять ключевых областей компьютерных наук — от алгоритмов и баз данных до кибербезопасности и искусственного интеллекта. Средний результат модели составил 76,9% правильных ответов.
На втором этапе «ГигаЧат» прошел очный экзамен перед аттестационной комиссией из восьми докторов технических и физико-математических наук. Эксперты выбрали три экзаменационных билета из 45. Каждый из них включал теоретический вопрос и практическую задачу. Все задания были составлены специально для испытания и не публиковались ранее.
Эксперты задавали уточняющие вопросы и оценивали глубину понимания материала. При этом итоговая оценка формировалась с учетом профильной экспертизы: например, при проверке задач по программированию решающее слово принадлежало специалисту в этой области.
По результатам очного этапа «ГигаЧат» набрал 7 из 10 баллов по шкале Сколтеха, что соответствует оценке «хорошо».
Ранее нейросеть уже демонстрировала высокие результаты на экзаменах по различным дисциплинам — от обществознания до медицины и экономики.
Ранее в России создали программу для эффективной диагностики сложных заболеваний.