Устройство, которое поможет вам восстановить речь, заказать носки в магазине «и они вас поймут».

«Говорят, что тот, кто полюбил собаку, никогда больше не будет совершенно одинок». Этот отрывок читает Мануэль Поло, хотя голос мы слышим благодаря модулю синхронного перевода. Маноло, родившийся в Бадахосе, но усыновленный из Наварры, восемь лет назад перенес инсульт, одним из последствий которого стала умеренная дизартрия. Это расстройство речи, затрудняющее артикуляцию слов, обычно поражает людей с приобретенными повреждениями мозга (ППМ). Хотя пациент способен произносить хорошо структурированную речь, его трудно понять, и это приводит к разочарованию, социальной изоляции и значительной потере личной автономии. Реабилитация помогает, но ее не всегда достаточно. В рамках проекта IA-Speak, реализуемого Adacen (Asociación de Daño Cerebral Adquirido en Navarra) совместно с консорциумом организаций, разрабатывается автоматическое портативное устройство перевода, которое улавливает голос пациента, транскрибирует его и затем клонирует. Это, объясняет Марисоль Гомес (Альгердо, 58 лет), преподаватель Государственного университета Наварры и директор Центра NAIR (Наваррского исследовательского центра искусственного интеллекта), «позволяет слушать речь другого человека в нормальном ритме, сохраняя ее тон, каденцию и музыкальность». Устройство, поясняет исследователь, клонирует не голос, а речь. Для этого он использует алгоритмы, обученные искусственным интеллектом, которые в будущем позволят Маноло взаимодействовать с другими людьми практически в режиме реального времени. Он уже мечтает вернуть себе самостоятельность: «Я смогу пойти в магазин, попросить носки и быть понятым с первого раза». В рамках проекта также ведется работа над созданием интеллектуальной реабилитационной платформы с функцией распознавания лиц, которая послужит инструментом для преподавателей центра. По словам Гомеса, это новая инициатива, поскольку существующие модули искусственного интеллекта для синхронного перевода используют нормативные речевые шаблоны. Другими словами, они распознают фонемы людей без каких-либо нарушений или искажений речи. Это не позволяет использовать их, например, людям с дизартрией. Он признает, что такие компании, как Google и Apple, разрабатывают аналогичный инструмент, но отмечает, что в этом проекте «мы не пытаемся найти общий шаблон перевода, потому что проблема каждого человека уникальна». Чтобы обучить алгоритм, IA-Speak записывает реабилитационные упражнения пациентов: «Когда они читают предложение, например, »сегодня хороший день«, мы берем слово »сегодня" и помечаем его. Здесь сказано «сегодня». Таким образом, когда этот человек произносит новое предложение, поскольку у нас уже есть запись речевого паттерна с учетом имеющейся у него дисфункции, алгоритмы могут транскрибировать то, что он говорит". Но на этом все не заканчивается. "Одновременно с маркировкой слов мы смотрим, как он их произносит: говорит ли он более или менее громко, разделяет ли он слова больше или меньше, какова каденция его речи... И затем, используя эти характеристики и модуль клонирования, мы моделируем речь". Проект идет от пользователя к пользователю, обучая алгоритм «ошибкам, допущенным конкретным человеком». Например, Маноло трудно произносить фонемы «йе», „йа“ или «йо». Однако проблема Елены Жековой (30 лет, Варна, Болгария) иная. Эта пациентка Adacen страдает от легкой дизартрии, сопровождающейся легким лицевым параличом, поэтому ее реабилитация проходит по-другому, объясняет Итциар Доц (Куэнка, 42 года). С Маноло мы много работаем над голосом, интонацией и мелодией, потому что его дизартрия более монотонна, а с Еленой мы работаем над открыванием рта, чтобы он мог точно настроить свои мышцы для произношения фонем". Голоса обоих были включены в базу данных для совершенствования алгоритма, чтобы он мог понимать людей с похожими заболеваниями. Паула Видауррета (Памплона, 22 года), докторант Центра NAIR, добавляет, что помимо записи реабилитационных упражнений, они записывают «спонтанную речь», чтобы «алгоритм распознал этот паттерн, потому что именно так они будут говорить, когда будут пользоваться устройством». Вся эта информация затем поступает в реабилитационную платформу - новый инструмент для логопедов, включающий интеллектуальную и персонализированную систему рекомендаций упражнений на основе искусственного интеллекта. «Платформа проводит первичную оценку, чтобы определить, в каком состоянии находится человек и над какими недостатками нужно работать больше всего», - объясняет Видауррета. Устройство также определяет биометрические характеристики человека, его физиономию, что может быть особенно полезно для таких пациентов, как Елена, поскольку ее восстановление связано с восстановлением подвижности лицевых мышц. За платформой стоит компания Copysan, которая также координирует работу всех участников консорциума. Ее исполнительный директор Хосе Сантос (Памплона, 55 лет) отмечает, что эта платформа «имеет интеллектуальную систему, которая следит за улучшениями каждого пациента и предлагает логопеду, как продолжить совершенствование». Устройство, добавляет Итзиар Дотц, поможет им объективизировать эту эволюцию: "Сейчас мы видим эволюцию, потому что лучше понимаем ее на слух или видим, что она лучше справляется в обществе, но все происходит на слух, у нас нет возможности оценить это количественно. С помощью этого инструмента мы сможем узнать, насколько произносимая ею фонема приближается к нормативной". Поскольку устройство портативное, оно позволит записывать голос пациента и в повседневной жизни, а не только на логопедических занятиях. "Платформа разработана таким образом, чтобы человек имел ее у себя дома и мог работать автономно. Это очень важно, особенно в начале травмы, потому что ни государственная система, ни центры не могут проводить ежедневные занятия". Этот проект дал Маноло и Елене надежду. Для Елены самое главное - быть понятой и понять своих коллег в Adacen. «Я хочу приходить в мастерскую, где мы все находимся, говорить им все, что хочу, и чтобы они хорошо меня понимали, не повторяясь постоянно, потому что это раздражает». Это также приводит к недоразумениям". Маноло и Елена перехватывают друг у друга слово, когда рассказывают, что сначала они плохо ладили, «потому что постоянно натыкались друг на друга стульями». Однажды им удалось поговорить, «мы пришли к соглашению и с тех пор дружим». Елена счастлива, что Маноло снова смог прислушаться к себе: "Я люблю своих коллег и рада всем их улучшениям, тому, что они могут быть более самостоятельными, когда речь идет о разговоре, о своих собственных делах. Я рад, что мы снова можем быть самими собой". Проект был запущен в конце 2024 года и должен быть завершен к концу следующего года с выпуском портативного устройства для перевода. «Цель - создать недорогой рыночный продукт, доступный каждому», - говорит управляющий директор Adacen Андрес Илундайн (Памплона, 50 лет). В настоящее время алгоритм проходит обучение на ста пользователях из Adacen и Фонда Мигеля Сервета, но цель состоит в том, чтобы его можно было использовать и для пациентов с нейродегенеративными патологиями. Эта задача представляет собой новую отправную точку, поскольку, хотя это и не является текущей целью, они не исключают, что люди с болезнью Паркинсона или другими нейродегенеративными заболеваниями смогут использовать этот инструмент для записи своего голоса до того, как их физическое состояние ухудшится. Таким образом, устройство могло бы клонировать не только их речь, но и голос.