Альянс в сфере ИИ представил бенчмарк MERA Industrial, предназначенный для оценки больших языковых моделей (LLM) в различных отраслях, сообщает пресс-служба Сбера.
В настоящее время доступны бенчмарки по медицине и сельскому хозяйству, которые помогут компаниям выбрать и внедрить LLM.
Представленные на сайте 3 датасета являются полностью оригинальными и составлены на русском языке.
По словам старшего вице-президента, руководителя блока «Технологическое развитие» Сбера Андрея Белевцева, ИИ становится неотъемлемой частью бизнес-процессов.
«Бизнесу как никогда нужны надежные инструменты для оценки больших языковых моделей, способных решать реальные отраслевые задачи с высокой точностью и достоверностью», — сказал он.
В разработке бенчмарка MERA Industrial принимали участие Сколковский институт науки и технологий, Кубанский государственный аграрный университет, Национальный медицинский исследовательский центр имени В.А. Алмазова, РАНХиГС, Нижегородский государственный архитектурно-строительный университет и другие.