Фреймворк для глубокого обучения, способный работать на оптическом оборудовании, разработали исследователи из Токийского университета совместно с коллегами из телекомпании NTT. Описание технологии опубликовано в журнале Nature Computational Science.
Подход объединяет метод обучения SS-DFA и упрощенную архитектуру single-map framework. Традиционное обучение требует фиксировать промежуточные состояния системы, чтобы затем вернуться назад и подкорректировать параметры. Новый метод обходит это требование: для настройки используются только итоговая ошибка и сведения о самой системе. Архитектура, в свою очередь, построена на множестве однотипных блоков, подчиняющихся общим правилам, вместо сложной сети уникальных связей.
Авторы проверили идею в компьютерных симуляциях и на оптической установке с 200-метровым оптоволокном, где информация преобразуется в свет, проходит через волоконную петлю и возвращается в электрический сигнал для анализа. Упрощенная схема не уступила, а в ряде тестов превзошла классические нейросети, требуя при этом значительно меньше вычислений. Свет переносит данные быстрее электрических сигналов, позволяет вести параллельную обработку и почти не выделяет тепла, что обещает экономию энергии на вычислениях и охлаждении будущих дата-центров ИИ.
«Мы захотели переосмыслить сам процесс обучения, чтобы физические системы могли выполнять вычисления более естественно, — рассказал аспирант Токийского университета Юнбо Чжан. — Для этого мы обратились к формату вычислений, использующему свет вместо электрических сигналов, но ради этого пришлось изменить и сам принцип обучения».
В предшествующей работе команда показала, что сложные паттерны активности естественным образом возникают в глубоких нейросетях, включая языковые модели, и предположила, что их можно использовать для улучшения обработки информации. Новая работа доказала применимость этих принципов на оптической системе. В планах авторов — масштабировать подход до крупных языковых и мультимодальных моделей, а также миниатюризировать систему до чипа, способного обрабатывать данные прямо в смартфонах, камерах и беспилотных автомобилях.
Ранее сообщалось, что в России придумали, как исправлять ошибки при передаче данных с меньшими затратами.