EUVIMEDEUVIMED entdecken
Crossref

Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ

Милан Ерикович ИСМАГУЛОВ

Systems Engineering and Information Technologies · 31.03.2026 · 8 (1(25)) · 101-110

DOI: 10.54708/siit-2026-no1-p101 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Systems Engineering and Information Technologies, 2026. Verfasst von Милан Ерикович ИСМАГУЛОВ.

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

В статье рассматривается мультиагентная система, разработанная для автоматизированного преобразования видеолекций в полноценный текстовый конспект, который отражает содержание исходного видеофайла с учетом информации из аудио- и видеомодальностей. Целью исследования является создание решения для автоматической трансформации образовательного видеоконтента в структурированный текст, пригодный для дальнейшего использования в учебных целях. В работе применяются методы машинного обучения, включая глубокие нейронные сети, а также подходы мультиагентных систем для координации сложных процессов обработки данных. Разработан прототип системы, реализованный на основе архитектуры «оркестратор-исполнитель». Данная архитектура включает три типа агентов: оркестратор, отвечающий за управление и координацию процессов, агент исполнитель, использующий интеллектуальные модели машинного обучения для анализа контента и агент-инструмент, выполняющий детерминированную обработку данных. На текущем этапе прототип способен обрабатывать один из трех запланированных форматов видеолекций, создавая текстовый документ в формате Markdown. Для обучения и тестирования системы сформирован набор данных, основанный на реальных записях, онлайн-курсов. Метрики прототипа включают: для модели OpenAI Whisper Medium — WER 16,3%; для конвейера YOLO11-PySceneDetect-pHash — Precision: 0.94, Recall: 1.00, F1-Score: 0.97; точность оптического распознавания символов составила 94,89% по результатам бенчмарка. Особенность мультиагентной системы заключается в использовании последовательных конвейеров обработки данных, объединяющих несколько алгоритмов и моделей. В заключение представлены результаты текущего этапа разработки, а также намечены направления дальнейшего совершенствования системы, такие как расширение поддержки форматов и улучшение производительности.

Zitieren

APA

ИСМАГУЛОВ, М. Е. (2026). Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ. Systems Engineering and Information Technologies, 8(1(25)), 101-110. https://doi.org/10.54708/siit-2026-no1-p101

Vancouver

ИСМАГУЛОВ МЕ. Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ. Systems Engineering and Information Technologies. 2026;8(1(25)):101-110. doi:10.54708/siit-2026-no1-p101

BibTeX
@article{2026,
  author = {ИСМАГУЛОВ, Милан Ерикович},
  title = {Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ},
  journal = {Systems Engineering and Information Technologies},
  year = {2026},
  volume = {8},
  number = {1(25)},
  pages = {101--110},
  doi = {10.54708/siit-2026-no1-p101}
}
Kostenlos starten →