Игры и компания Speech Graphics помогли парализованной женщине заговорить

Похоже на желтушный заголовок? Однако, это правда. Исследователи из Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли создают первый в мире работающий интерфейс «мозг-компьютер», который синтезирует речь и выражение лица на основе сигналов мозга, а помогают в этом игры.

Ученые создали для женщины цифрового аватара, вживили в череп интерфейс, преобразующий сигналы мозга в речь и мимику у аватара. Сигналы мозга удалось расшифровать и на основе них синтезировать осмысленную речь пациентки. Команду возглавил Эдвард Чанг, доктор медицинских наук, заведующий кафедрой неврологической хирургии в Калифорнийском университете в Сан-Франциско, который десять лет работал над подобными интерфейсами. Они имплантировали прямоугольник толщиной с бумагу из 253 электродов на поверхность мозга женщины в областях, которые, как обнаружила его команда, имеют решающее значение для речи. Электроды перехватывали сигналы мозга, которые, если бы не инсульт, дошли бы до мышц языка, челюсти, гортани и лица. Кабель, подключенный к порту, прикрепленному к ее голове, соединил электроды с блоком компьютеров, что позволило в течение нескольких недель обучить алгоритмы ИИ распознавать активность мозга, связанную со словарным запасом, состоящим из более чем 1000 слов. Благодаря ИИ женщина могла «писать» текст, а также «говорить», используя синтезированный голос, основанный на записях ее настоящего голоса до того, как ее парализовало.

Исследователи работали совместно с Майклом Бергером, техническим директором и соучредителем Speech Graphics. Технология анимации лица на основе искусственного интеллекта компании Speech Graphics, использовалась для создания реалистичной анимации лица в видеоиграх, включая Halo Infinite, Hogwarts Legacy и The Last of Us Part II, имитирует мышечные сокращения с течением времени, включая речевую артикуляцию и невербальную активность. Этот процесс обычно управляется при помощи аудиосигнала: программное обеспечение анализирует звук и реконструирует сложные движения мышц лица, языка и челюсти, которые должны были произойти при воспроизведении этого звука. В одном из подходов команда использовала синтезированный голос пациентки в качестве входных данных для системы вместо ее реального голоса, чтобы управлять мышцами. Программное обеспечение компании, работающее в режиме реального времени, затем преобразовывало движения мышц в 3D-анимацию в движке видеоигры. Результатом стал реалистичный аватар субъекта, который точно произносил слова синхронно с синтезированным голосом в результате ее усилий по общению.

Во втором тестировании, сигналы мозга были связаны непосредственно с моделируемыми мышцами, что позволило им служить аналогом нефункционирующих мышц испытуемого. Женщина могла заставить аватара выражать определенные эмоции и двигать отдельными мышцами. Команда исследователей и Speech Graphics очень надеются в ближайшее время получить все необходимые согласования и наладить производство подобных интерфейсов и запустить проект по обеспечению парализованных людей подобными технологиями для того, чтобы они вновь могли говорить, пусть даже и через цифрового аватара. По данному исследованию опубликована статья в журнале Nature.