Новый ИИ-инструмент способен угадать, на что смотрит человек, просто анализируя сканы его мозга — и воссоздать это изображение с высокой точностью. Работает и обратный процесс: по картинке модель предсказывает активность мозга. Об этом сообщило издание MIT Technology Review.
Инструмент разработала Михаль Ирани с коллегами из Института Вейцмана в Израиле. Она надеется, что «чтение мыслей» поможет лучше понять работу мозга, а в перспективе — дать возможность общаться полностью парализованным людям и воссоздавать содержание снов. Однако другие ученые предупреждают: похожий подход может раскрывать внутренние мысли и мысленные образы людей потенциально без их согласия.
Нейробиологи годами пытались реконструировать то, что видят люди. Первые попытки давали размытые изображения. Технологии фМРТ и методы анализа результатов постепенно улучшались. Ирани и коллеги начали с анализа публичных данных сканирования. Другие исследователи уже собрали сканы добровольцев, которым показывали сотни изображений, пока те лежали в аппарате фМРТ. Ученые использовали новые наборы данных с более высоким разрешением, где каждый воксель покрывал около кубического миллиметра нейронов.
Команда обучила ИИ-модель на данных восьми человек, каждому из которых показали около 9 тыс. изображений. Ключевая особенность — «декодер мозга» имеет две ветви: одна предсказывает структуру изображения, вторая — его содержание. Это позволяет диффузионной модели — типу ИИ, создающему изображения путём постепенной очистки шума, — выдавать более точную картину.
Чтобы улучшить модель, учёных не хватало данных. Тогда они обучили вторую модель в обратном направлении — энкодер, предсказывающий активность мозга по картинке. Энкодер и декодер тренировали вместе: берут новое изображение, энкодер предсказывает, как выглядел бы скан мозга при его просмотре, а декодер восстанавливает картинку. Поначалу результат мало похож на оригинал, но повторение циклов значительно улучшает точность.
Подход позволяет обучаться на любом количестве изображений, даже если их никогда не показывали человеку в сканере. Примерно 70% картинок в обучении не имели реального снимка мозга — их «пару» модель сгенерировала сама.
«Универсальный энкодер мозга» требуется минимальная калибровка для настройки на сканы человека. Обычно инструментам нужно около 40 часов данных фМРТ нового добровольца, чтобы предсказывать, что он видит. Декодеру Ирани достаточно одного часа. Результаты представили на конференции по когнитивной вычислительной нейробиологии в Нью-Йорке. Это может быть ценно для нейробиологов: 40 часов сканирования каждого испытуемого стоят $600–1000 в час. Инструмент ускорит исследования.
Однако модель не идеальна. В одном случае ИИ интерпретировал изображение торта как три сандвича, и а в другом — принял собаку за козу. Но по сравнению с предыдущими инструментами результат значительно лучше.
Ирани планирует перейти от изображений к видео и аудио, а также к реконструкции мысленных образов и снов. Это может помочь парализованным людям общаться и ученым — понять, как выглядят флешбэки при ПТСР.
В то же время разработка ставит вопросы ментальной приватности — что произойдет, если кто-то начнет извлекать образы из сознания людей и использовать без их согласия? По словам самой Михаля Ирани, она признает потенциал возможных злоупотреблений, но «старается думать только о хорошем» в своей работе.
Ранее ученые обучили ИИ читать мысли мышей по выражениям их морд.