Опубликованы результаты исследования, можем ли мы научить языковые модели истолковывать исчезающие языки?
Поскольку почти половина из 7000 языков мира находится под угрозой исчезновения, сообщества носителей языков, принадлежащих к меньшинствам, работают над сохранением и возрождением своих языков[1]При расшифровке древних и исчезающих языков ученые применяют такой подход как глоссирование - способ оформления текста, предполагающий наличие кратких пояснений к нему, которые помещаются в строчке между оригинальным текстом (или его транслитерацией) и переводом.
Автоматизация создания глоссированного текста может сократить усилия аннотатора и поддержать согласованность в аннотированных корпусах.
И применение LLM в этой задаче выглядит крайне привлекательно, ведь как известно, в эмбеддингах фраз на разных языках присутствует схожая близость слов, близких по контексту.
Читать на habr.com
