Разработка и оценка эффективности семантической эмбеддинг-модели ModernUzBERT с расширенным контекстом для узбекского языка
Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий · 15.05.2026 · 9 (2) · 45-53
DOI: 10.62132/ijdt.v9i2.375 ↗Kurz gefasst
Fachartikel in der Zeitschrift Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий, online erschienen am 15.05.2026. Verfasst von И.Ш. Хужаяров und 3 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Данное исследование посвящено разработке ModernUzBERT - эмбеддинг-модели для узбекского языка, основанной на современной архитектуре Transformer с расширенным контекстным окном (8192 токена). В малоресурсных и агглютинативных языках, таких как узбекский, ограниченные возможности обработки широкого контекста негативно влияют на эффективность моделей. Для решения этой проблемы был сформирован масштабный текстовый корпус на узбекской латинице, содержащий более 125 миллионов словоформ, и создан оптимизированный словарь, состоящий из 52 000 субсимвольных единиц (sub-words). Процесс обучения модели проходил в два этапа: на первом этапе модель обучалась «с нуля» методом маскированного языкового моделирования (Masked Language Modeling, MLM), а на втором - адаптировалась под семантический поиск посредством контролируемого тонкого обучения (Supervised Fine-Tuning, SFT) с использованием датасета из 30 000 вопросно-ответных пар. Благодаря применению технологий Flash Attention 2 и Unpadding удалось значительно повысить эффективность использования графических процессоров (GPU). Контекстное окно в 8192 токена позволяет анализировать объемные тексты, сохраняя их семантическую целостность. По завершении исследования разработанная модель и все её компоненты были выложены в открытый доступ для научного сообщества на платформе Hugging Face.
Zitieren
APA
Хужаяров, И., Очилов, М., Холматов, О., & Жуманов, В. (2026). Разработка и оценка эффективности семантической эмбеддинг-модели ModernUzBERT с расширенным контекстом для узбекского языка. Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий, 9(2), 45-53. https://doi.org/10.62132/ijdt.v9i2.375
Vancouver
Хужаяров И, Очилов М, Холматов О, Жуманов В. Разработка и оценка эффективности семантической эмбеддинг-модели ModernUzBERT с расширенным контекстом для узбекского языка. Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий. 2026;9(2):45-53. doi:10.62132/ijdt.v9i2.375
BibTeX
@article{2026,
author = {Хужаяров, И.Ш. and Очилов, М.М. and Холматов, О.А. and Жуманов, В.И.},
title = {Разработка и оценка эффективности семантической эмбеддинг-модели ModernUzBERT с расширенным контекстом для узбекского языка},
journal = {Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий},
year = {2026},
volume = {9},
number = {2},
pages = {45--53},
doi = {10.62132/ijdt.v9i2.375}
}
EUVIMED