Исследователи университета «Иннополис», СПбГЭТУ «ЛЭТИ» и Джадавпурского университета представили гибридную нейросетевую архитектуру, которая по электроэнцефалограмме определяет эмоциональные состояния человека с точностью до 99,99%. Работа опубликована в журнале Scientific Reports (Nature Portfolio), пишет cnews.ru.
Модель тестировали на трёх открытых эталонных наборах данных ЭЭГ. На выборке «спокойствие — стресс — радость» система совершила три ошибки из 27 130 образцов, на данных об эмоциях в условиях стресса — одну ошибку из 78 328. На более сложном наборе с негативным, нейтральным и положительным настроением точность составила 96,49% против прежнего рекорда 95,99%.
Как устроена архитектура
Решение объединяет две параллельные ветви нейросети. Временная ветвь на базе сети долгой краткосрочной памяти (LSTM) обрабатывает сырые сигналы ЭЭГ и улавливает динамику эмоциональных реакций. Спектральная ветвь с помощью свёрточной сети выделяет частотные признаки. Результаты сводятся в компактный классификатор, а введённый авторами механизм кросс-модального улучшения позволяет ветвям обмениваться информацией и повышать точность прогноза.
По словам ведущего программиста-математика Исследовательского центра в сфере ИИ «Иннополиса» Дмитрия Каплуна, прежние подходы к распознаванию эмоций по ЭЭГ требовали ручной настройки признаков, плохо обобщались между наборами данных и были вычислительно тяжёлыми. Новая архитектура снимает эти ограничения и работает быстрее при меньших затратах ресурсов.
Что это значит для отрасли
Автоматическое распознавание эмоций по сигналам мозга — один из ключевых элементов персонализированной медицины и цифровой психиатрии. Он открывает путь к:
- ранней диагностике депрессии, тревожных и стрессовых расстройств;
- системам непрерывного мониторинга психического здоровья;
- адаптивным интерфейсам «человек — компьютер», в том числе в реабилитации.
Точность выше 99% на эталонных наборах приближает такие системы к клиническому применению, хотя валидация на реальных пациентах ещё впереди. Авторы планируют адаптировать модель для потоковой обработки ЭЭГ в режиме онлайн и объединить её с другими каналами психофизиологической диагностики — ЭКГ, фотоплетизмограммой и электродермальной активностью, что расширит применимость подхода в носимых устройствах и телемедицинских сервисах.