«OpenAI загаварыў па-беларуску нібы п’яны амерыканскі турыст». Як беларусы вучаць нейрасеткі размаўляць правільна
Беларускія ІТ-спецыялісты аб’ядналіся ў супольнасць TuteishyGPT, каб ствараць і адаптаваць ШІ-інструменты да беларускай мовы.
«Справы» распыталі стваральніка праекта пра тое, чаму цяжка навучыць штучны інтэлект натуральнаму гучанню беларускай мовы і чаму сусветныя распрацоўшчыкі ШІ недастаткова надаюць гэтаму ўвагі.
— Што такое TuteishyGPT?
— Гэта праект і супольнасць людзей (беларусаў і не толькі), геаграфічна раскіданых па ўсім свеце. Займаемся стварэннем прадуктаў ШІ, якія працуюць менавіта па-беларуску.
Асноўны фокус у нашай дзейнасці — гэта стварэнне беларускамоўных мадэляў ШІ: TTS (Text-to-Speech — пераўтварэнне тэксту ў маўленне), ASR (распазнаванне маўлення) і распрацоўка галасавых асістэнтаў.
— Якія сэрвісы вы ўжо зрабілі?
— Усё сабранае на нашым сайце tuteishygpt.pro. Гэта ўласныя мадэлі сінтэзу маўлення (BeXTTS і OmniVoiceBE) і тэхналогія кланавання галасоў (нам удалося вельмі якасна скаланаваць голас па адным кароткім сказе).
Таксама працуе галасавы асістэнт «Юзік», які ўжо ўмее падтрымліваць жывы дыялог і эксперыментальны рэжым настаўніка, а ў чаце можна звяртацца да анлайн-слоўнікаў, даных пра надвор’е, прыдумаць і расказаць казку, ці агучыць любы дасланы дакумент.
Ёсць у нас сэрвіс для стварэння беларускіх субцітраў. Таксама мы сабралі каля 500 гадзін аўдыядатасэтаў.
— Хто ўдзельнічае ў ініцыятыве?
— Ёсць пастаянны касцяк каманды, а ёсць людзі, якія далучаюцца перыядычна для выканання пэўных задач. Праект робім выключна на ўласным энтузіязме і за свае сродкі, як дабрачыннасць. У нас ёсць buymeacoffee, але там мізерная падтрымка. Было б файна, каб беларусы пачалі нас падтрымліваць.
— Адкуль ідэя стварыць такую супольнасць?
— Першапачаткова беларуская мова ўвогуле не была прадстаўлена ў штучным інтэлекце. Калі OpenAI загаварыў, то ён размаўляў па-беларуску нібы п’яны амерыканскі турыст.
Праз тое, што мадэлі не маглі нічога нармальна вымавіць, у нас з’явілася ідэя зрабіць сваю ўласную беларускую мадэль маўлення.
— У чым праблема беларускай мовы і ШІ?
— Беларуская мова — гэта «маларэсурсная» мова. Сутыкаемся з наступнымі галоўнымі праблемамі:
- Недастаткова даных (датасэтаў) — няма дастатковай колькасці чыстых запісаў маўлення з разнастайнымі інтанацыямі. Студыйных запісаў зусім няма. Наяўныя датасэты, зробленыя праз Donar.by, часцей за ўсё запісваюцца людзьмі на тэлефоны ці ноўтбукі, маюць шумы і начытваюцца манатонна па адным сказе.
- Праблема з дакладнымі націскамі — у параўнанні з заходнімі мовамі беларуская мае іншую сістэму націскаў і вялічэзную колькасць амографаў (словы з аднолькавым напісаннем, сэнс якіх залежыць ад націску).
- Страта фанетычнай аўтэнтычнасці — беларусы губляюць адметныя рысы беларускага вымаўлення (напрыклад, асіміляцыйную мяккасць), бо цяпер амаль усе размаўляюць на зрусіфікаванай мове. І знайсці дыктара з правільным вымаўленнем амаль немагчыма, таму нават тыя матэрыялы, што ёсць, не зусім падыходзяць.
— Як дзейнасць TuteishyGPT паляпшае сітуацыю?
— Стварэнне беларускай моўнай мадэлі дазволіць рабіць вельмі шмат розных прадуктаў. І калі яны будуць мець правільнае фанетычнае вымаўленне, то іх спажыўцы таксама будуць паляпшаць сваю беларускую фанетыку.
Напрыклад, зараз згенераваным рускамоўным кантэнтам засмечаны ўвесь YouTube, і некаторыя відэа маюць вялікую колькасць праглядаў. Уявіце, што было б столькі ж кантэнту па-беларуску.
Ужо сёння наш галасавы агент Юзік можа дапамагчы пачаць размаўляць па-беларуску тым, хто баіцца рабіць гэта публічна або перажывае з-за выпраўлення памылак.
— Ці гатовы вялікія сусветныя кампаніі камунікаваць наконт інтэграцыі беларускай мовы ў мадэлі ШІ?
— Мяркую, што не. Яны не бачаць у гэтым камерцыйнай выгады праз колькасць карыстальнікаў. Таму ўсё, што працуе па-беларуску, проста з’яўляецца па рэшткавым прынцыпе або праз жаданне пахваліцца, што «глядзіце, у нас 197 моў падтрымліваецца».
— Якія нейрасеткі зараз найлепш працуюць з беларускай мовай?
— Сярод мадэляў маўлення TTS можна зрабіць рэйтынг з ТОП-3 вялікіх гульцоў, у якіх беларуская мова прадстаўлена лепш за ўсё (але далёка не ідэальна, усе збіваюцца на рускую ці ўкраінскую):
- ElevenLabs v3
- Google (Gemini) TTS PPO
- OpenAI (ChatGPT) з нацяжкай
Што тычыцца LLM-мадэляў, то па асабістых назіраннях у ТОП-3 лепшых уваходзяць Gemini, Claude і OpenAI — яны ўсе працуюць прыкладна аднолькава.
— Над чым зараз працуеце?
— Галасавы асістэнт «Юзік» хутка атрымае новы дызайн і Android-дадатак, магчыма, пазней выйдзе і на iOS.
У перспектыве марым стварыць ШІ-настаўніка беларускай мовы, які будзе выпраўляць памылкі вымаўлення і даваць парады і весці па рэальных сцэнарыях размовы — напрыклад, «у краме» або «ў гатэлі».
На працягу 2 гадоў пастаянна ідзе напружаная, цяжкая і складаная праца над стварэннем датасэтаў, а праект з аўтаматычным перакладам і агучкай відэа мы пакуль паставілі на паўзу праз недахоп рэсурсаў.
— Колькі рэсурсаў патрабуецца на функцыянаванне ініцыятывы?
— На функцыянаванне нашых сэрвісаў (каб галасавы асістэнт працаваў хутка і 24/7) патрабуюцца дарагія серверы з відэакартамі (GPU), якія зараз у дэфіцыце і каштуюць нямала. Для навучання мадэлей патрэбныя значна больш магутныя серверныя відэакарты. Таксама трэба шмат токенаў на Gemini ці Cloude мадэлі.
Дзе іх узяць? Вельмі добрае пытанне! Было б крута, каб ініцыятыву падтрымала буйная кампанія, неабыякавая да беларускай культуры. Калі гэта ІТ, то мы маглі б падзяліцца напрацаванымі тэхналогіямі.
Яшчэ актуальным для нас быў бы рэсурс у выглядзе 30-60 гадзін прафесійнага студыйнага запісу аднаго дыктара.
— Як беларусы могуць дапамагчы развіваць беларускую мову ў ШІ?
— Гэта можна зрабіць праз фінансавую падтрымку — ахвяраваць грошы нашай камандзе. Бо арэнда магутных сервераў, неабходных для бесперабойнай працы мадэляў, каштуе вельмі дорага.
Можна правяраць датасэты: зараз у нас ёсць 400 гадзін датасэтаў, якія патрабуюць праверкі чалавекам. І гэта можа зрабіць любы ахвочы. Ці, напрыклад, трэба праверыць націскі ў тысячах сказаў — для вырашэння праблемы з амографамі.
ІТ-спецыялісты могуць далучыцца да нас і дапамагчы ў вельмі разнастайных праектах і задачах — іх у нас хапае. Для беларусаў не з ІТ праца таксама знойдзецца: напрыклад, проста пратэсціць Android-аплікацыю.