Нейросеть SALF-Net научилась слушать музыку коротких видео и присваивать ей эмоциональные метки — «веселая», «романтичная», «энергичная», даже если запись искажена, а слов песни просто нет. Модель создали Лю Чжици из Музыкального колледжа Университета Цзимэ в Китае и его коллеги. Статья опубликована в журнале Scientific Reports.
TikTok и похожие платформы получают сотни миллионов роликов в день, и каждому треку нужны метки настроения для поиска, рекомендаций и рекламы. Разметчики с таким потоком не справляются, а обычные аудиоанализаторы рассчитаны на полноценные песни, а не на обрезки длиной 8-30 секунд с наложенным голосом и помехами. SALF-Net совмещает два «уха»: акустический блок, заранее обученный на огромной музыкальной коллекции, и языковую модель, читающую текст песни. На обучении текст периодически «прячут», поэтому без него, например, у инструментальных треков, система не теряет работоспособности.
Проверяли модель на новой коллекции из 30 000 роликов, размеченных людьми: SALF-Net обошла и специализированные системы, и аудиоверсии ИИ-гигантов — Qwen-Audio от Alibaba и Audio Flamingo от NVIDIA. Эксперты признали 61,8% выданных меток точно подходящими, а промахов у новинки вдвое меньше, чем у конкурентов. Порой система дополняет авторские теги удачными соседями: к «энергичной» музыке танцевального челленджа она добавляет «мотивирующую» и «вечериночную».
Отдельная облегченная версия сохраняет 95% качества полной модели, но тратит на один ролик 11 миллисекунд, а после дополнительного сжатия — всего семь. Одной видеокарты среднего класса хватает на разметку более 12 млн роликов в день.
«Слияние звукового и текстового каналов, при котором текст может отключаться, превращает лабораторное преимущество в систему, которая выдерживает отсутствие текстов песен, инструментальные треки и запись, перегруженную речью», — пояснили авторы исследования.
Дополнительной опорой служит психологическая шкала Рассела: каждой эмоции соответствуют координаты «приятно — неприятно» и «спокойно — бодро», и предсказание этих координат помогает точнее расставлять метки. Текст песни сильнее всего выручает там, где поется о чувствах, — с метками вроде «романтики» и «разбитого сердца», — тогда как темп и энергию музыка передает и без слов. На данный момент словарь меток фиксированный и англоязычный, а свежие сетевые настроения система не распознает, поэтому разработчикам еще есть куда расти.
Ранее россияне интересовались возможностью удаления скрытой метки из текста нейросети.