Специалисты центра практического ИИ Сбера и ученые института AIRI и «Сколтеха» смогли оптимизировать работу моделей ИИ, сообщает пресс-служба Сбера.
Новый способ помогает определить, когда в разговоре с ИИ нейросеть для экономии памяти начинает терять смысл и совершает ошибки. Специалисты представили легкий обучаемый классификатор, которые проверяет сжатые токены перед тем, как они попадут в большую языковую модель.
Благодаря новому методу ИИ теперь не будет нарушать смысл разговора при большом объеме данных.
Также разработчики применили новый метод при обновлении флагманской модели Сбера GigaChat Ultra. Теперь модель запоминает факты о пользователе и может использовать их для дальнейшей персонализации общения.
«Наше решение выполняет функцию защитного механизма: мы научились автоматически детектировать порог, за которым краткость перестает быть оптимизацией и ведет к ошибкам, вызывая потерю устойчивости модели», — отметил директор центра практического ИИ Сбера Николай Тиден.