Нейробиологи из лондонского Университетского колледжа и их коллеги впервые восстановили видеоролики, которые смотрела мышь, по активности почти восьми тысяч нейронов ее зрительной коры. Описание метода опубликовано в журнале eLife.
Животным показывали десятисекундные фрагменты природных фильмов и одновременно регистрировали активность клеток методом двухфотонной кальциевой визуализации: им ввели светящийся белок, вспыхивающий при каждом импульсе, а микроскоп фиксировал эти вспышки. В основе метода — нейросетевая модель, которая по ролику и состоянию животного — размеру зрачка и скорости бега — предсказывает ответ каждого нейрона. Чтобы получить само видео, процесс запустили в обратную сторону: начиная с однотонного серого экрана, алгоритм шаг за шагом менял яркость пикселей, пока предсказанная реакция не совпала с реальной записью.
Точность оказалась рекордной в опытах с мышами: корреляция между оригиналом и реконструкцией на уровне отдельных пикселей достигла 0,57 — примерно вдвое выше, чем у предыдущих работ со статичными картинками (0,24). «Восстановив ролики, показанные мышам, по одиночным пробам активности нейронов зрительной коры, мы открываем путь к использованию реконструкции фильмов в качестве инструмента для изучения самых разных явлений обработки зрительной информации», — пишут авторы работы.
Похожие эксперименты уже проводили на людях: в 2011 году американские нейробиологи впервые воссоздали видео из данных функциональной МРТ, а в 2023 году японские исследователи научились генерировать изображения из мозговой активности с помощью генеративной модели Stable Diffusion. Но МРТ видит мозг слишком крупным, усредняя работу тысяч клеток. Кроме того, генеративные модели склонны придумывать детали, которых в исходной картинке не было. Лондонский метод не использует генеративную часть и опирается только на сигналы отдельных нейронов: если мозг не кодирует часть картинки изначально, его не будет и на выходе.
У подхода есть и ограничения: мелкие подробности изображения не восстанавливаются, а временная точность близка к пределу мышиных глаз — зверек различает мерцание лишь до 14 Гц. Главная цель исследований — проверить, как мозг предугадывает продолжение увиденного и как он выделяет важное в кадре.
Ранее ученые обнаружили нейроны, которые помогают мозгу заснуть.