Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ
Systems Engineering and Information Technologies · 31.03.2026 · 8 (1(25)) · 101-110
DOI: 10.54708/siit-2026-no1-p101 ↗Kurz gefasst
Fachartikel in der Zeitschrift Systems Engineering and Information Technologies, 2026. Verfasst von Милан Ерикович ИСМАГУЛОВ.
Abstract (Originalsprache)
В статье рассматривается мультиагентная система, разработанная для автоматизированного преобразования видеолекций в полноценный текстовый конспект, который отражает содержание исходного видеофайла с учетом информации из аудио- и видеомодальностей. Целью исследования является создание решения для автоматической трансформации образовательного видеоконтента в структурированный текст, пригодный для дальнейшего использования в учебных целях. В работе применяются методы машинного обучения, включая глубокие нейронные сети, а также подходы мультиагентных систем для координации сложных процессов обработки данных. Разработан прототип системы, реализованный на основе архитектуры «оркестратор-исполнитель». Данная архитектура включает три типа агентов: оркестратор, отвечающий за управление и координацию процессов, агент исполнитель, использующий интеллектуальные модели машинного обучения для анализа контента и агент-инструмент, выполняющий детерминированную обработку данных. На текущем этапе прототип способен обрабатывать один из трех запланированных форматов видеолекций, создавая текстовый документ в формате Markdown. Для обучения и тестирования системы сформирован набор данных, основанный на реальных записях, онлайн-курсов. Метрики прототипа включают: для модели OpenAI Whisper Medium — WER 16,3%; для конвейера YOLO11-PySceneDetect-pHash — Precision: 0.94, Recall: 1.00, F1-Score: 0.97; точность оптического распознавания символов составила 94,89% по результатам бенчмарка. Особенность мультиагентной системы заключается в использовании последовательных конвейеров обработки данных, объединяющих несколько алгоритмов и моделей. В заключение представлены результаты текущего этапа разработки, а также намечены направления дальнейшего совершенствования системы, такие как расширение поддержки форматов и улучшение производительности.
Zitieren
APA
ИСМАГУЛОВ, М. Е. (2026). Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ. Systems Engineering and Information Technologies, 8(1(25)), 101-110. https://doi.org/10.54708/siit-2026-no1-p101
Vancouver
ИСМАГУЛОВ МЕ. Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ. Systems Engineering and Information Technologies. 2026;8(1(25)):101-110. doi:10.54708/siit-2026-no1-p101
BibTeX
@article{2026,
author = {ИСМАГУЛОВ, Милан Ерикович},
title = {Мультиагентная система для решения задачи мультимодального преобразования видеолекции в текстовый документ},
journal = {Systems Engineering and Information Technologies},
year = {2026},
volume = {8},
number = {1(25)},
pages = {101--110},
doi = {10.54708/siit-2026-no1-p101}
}
EUVIMED