Как переводить смешанный русский и казахский текст

Исследователи из MWS AI и нескольких университетов разработали метод генерации синтетических данных для машинного перевода смешанного русско-казахского текста. Модель, обученная на такой синтетике, превзошла коммерческие системы в ручной оценке.

В Казахстане смешение казахского и русского языков часто встречается в соцсетях, переписке и бытовом общении. При этом существующие системы машинного перевода плохо справляются с таким смешанным текстом из-за нехватки обучающих данных. В новой научной работе коллеги из MWS AI и нескольких университетов предложили способ генерации синтетического датасета на основе существующих параллельных корпусов на казахском и русском языках. Несмотря на искусственное происхождение данных, этот подход позволяет закрыть задачу в условиях, когда готовых альтернатив почти нет. Модель, обученная на синтетических данных, по результатам ручной оценки обошла известные коммерческие системы в узком, но практическом сценарии перевода смешанного текста.

Источники 1

Как переводить смешанный русский и казахский текст Habr AI

Как переводить смешанный русский-казахский и не сойти с ума

В Казахстане часто смешивают казахский и русский в соцсетях, переписке, быту. Но попробуйте скормить русско-казахскую фразу любой системе машинного перевода (Machine Translation), и она начнёт чудить. Не потому, что она глупая,  а потому что данных для обучения моделей переводить такую языковую кашу почти нет.

В этот раз разбираю научную работу коллег из MWS AI и нескольких университетов, в которой они предложили подход для генерации синтетического датасета под эту задачу на базе уже существующих обычных параллельных корпусов на казахском и русском. Да, это синтетические данные, но в условиях, когда альтернативы нет, это спасает. Их модель, обученная на синтетике, обошла известные коммерческие системы (ручная оценка) в узком, но реальном сценарии. Велком под кат

#simalign #датасеты #датасеты_обучения #машинный_перевод #языковые_модели #llm #казахский_язык #nlp #исследования #синтетические_данные | @habr_ai