Как латгальский язык чувствует себя в эпоху ИИ: исследования, распознавание речи и цифровые ресурсы
Исследователи Института математики и информатики Латвийского университета и Резекненской академии Рижского технического университета создают цифровые ресурсы и инструменты ИИ для латгальского языка. Среди них — средство распознавания речи LATE-LTG, речевой корпус и пополнение тезауруса.
Развитие искусственного интеллекта (ИИ) открывает новые возможности и для малых региональных языков, однако результаты ограничены объёмом доступных данных. Латвийский портал lakuga.lv изучил, каково положение письменного латгальского языка, региональной разновидности латышского, в мире ИИ. Использованы комментарии специалистов Института математики и информатики Латвийского университета (LU MII) и Резекненской академии Рижского технического университета (RTU RA).
Главное препятствие — нехватка данных
Артурс Знотиньш, исследователь LU MII, изучающий и разрабатывающий большие языковые модели, говорит, что точность ИИ для латгальского языка прежде всего зависит от объёма данных для обучения. Латышский считается относительно малоресурсным языком, а у письменного латгальского ресурсов ещё меньше. Ситуацию усложняют разные варианты написания, диалектные формы и смесь латышского и латгальского в цифровых текстах.
Знотиньш поясняет, что в малоресурсных языках модели могут показывать довольно хорошие знания и понимание текста, но при самостоятельной генерации допускают много ошибок, а часто заметно влияние более крупных языков. По его мнению, существенных улучшений можно добиться при работе с качественными данными, поэтому важно сотрудничество лингвистов, исследователей, учебных заведений, СМИ и самих носителей языка.
Проект DigiLATE и распознавание речи
LU MII, гуманитарный факультет Латвийского университета и RTU RA продолжают работу над проектом «Цифровые ресурсы и технологии ИИ для устойчивости латышского языка» (DigiLATE). Ильзе Ауциня из LU MII рассказывает, что в его рамках создан инструмент автоматического распознавания и транскрибирования речи LATE-LTG, свободно доступный на ltg.late.ailab.lv. Можно загрузить аудио- или видеозапись и автоматически превратить речь на латгальском в письменный текст. Инструмент пригоден для субтитров, расшифровки интервью и изучения письменного латгальского.
Сначала инструмент обучили распознавать литературный латышский, для которого данных намного больше, а затем адаптировали к латгальскому.
Речевой корпус, тезаурус и «Bolsu tolka»
Исследователи Резекненской технологической академии создали «Корпус современной латгальской речи» (MuLaR), где собраны 33 часа записей: интервью, материалы экспедиций, радио- и телепередачи, а также образцы речи латгалов, живущих за пределами Латвии. Доктор филологии Антра Клавинска сообщает, что следующая версия латгальского тезауруса должна быть готова в конце декабря этого года. В инициативе «Bolsu tolka» любой знаток языка может пополнить речевые данные, записывая предложения или проверяя записи других участников, на balsutalka.lv/ltg/.
Пример из Варакляны
Общество «Varakļānu attīstībai» готовит цифровой туристический гид на четырёх языках: латышском, латгальском, английском и немецком. Латгальский перевод выполнен с помощью ИИ, и, как заявляет общество, тексты будут уточнены с участием местных знатоков языка. Клавинска добавляет, что готовятся рекомендации и руководства для СМИ на региональных и миноритарных языках по ответственному использованию ИИ.
