EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

МЕТОДОЛОГІЯ МАШИННОГО НАВЧАННЯ ДЛЯ АВТОМАТИЗАЦІЇ РОЗПІЗНАВАННЯ ЕЛЕМЕНТІВ ГРАФІЧНОГО ІНТЕРФЕЙСУ У ПРОЦЕСАХ ТЕСТУВАННЯ ВЕБЗАСТОСУНКІВ

Вікторія ГНАТУШЕНКО, Владислав ЦАРИК

Information Technology: Computer Science, Software Engineering and Cyber Security · 10.11.2026 · (3) · 86-95

DOI: 10.32782/it/2026-3-10 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Information Technology: Computer Science, Software Engineering and Cyber Security, online erschienen am 10.11.2026. Verfasst von Вікторія ГНАТУШЕНКО und 1 weiteren Autor:innen. Die Arbeit nennt 22 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Мета роботи. Метою даного дослідження є розробка та експериментальне обґрунтування методології машинного навчання на основі нейромережевих архітектур сімейства YOLO для автоматизованого розпізнавання та класифікації елементів графічного інтерфейсу (GUI) вебзастосунків. Це передбачає підвищення стабільності систем автоматизованого тестування, мінімізацію витрат на їх підтримку та розв’язання проблеми «крихкості тестів» шляхом переходу від прив’язки до структури DOM-дерева до візуального сприйняття інтерфейсу. Методологія. Запропонована методологія базується на застосуванні методів комп’ютерного зору та глибокого навчання з використанням нейромережевих моделей YOLOv5s, YOLOv8s та YOLOv8m. Ідентифікація елементів здійснюється на основі їхніх візуальних, геометричних і текстурних характеристик. Для проведення експериментальних досліджень використано набір даних Website Screenshots Dataset (1206 скріншотів із розміткою для 8 класів елементів), розширений за допомогою геометричних аугментацій. Оцінка ефективності моделей здійснювалася за 50 епох навчання на основі метрик точності (Precision), повноти (Recall) та аналізу матриці помилок. Наукова новизна. Запропоновано новий підхід до автоматизації UI-тестування, який забезпечує інваріантність ідентифікації вебкомпонентів від їх внутрішньої програмної реалізації у коді. Встановлено та формалізовано залежність точності детекції елементів від складності й глибини архітектури нейромережі. Досліджено специфіку розпізнавання окремих класів інтерфейсу (label, button, text, link, image, field, heading, iframe) та виявлено характерні джерела хибних спрацьовувань між текстовими маркуваннями. Висновки. Розроблено ефективну методологію розпізнавання елементів GUI вебзастосунків, яка мінімізує потребу в ручному коригуванні тестових сценаріїв. Експериментально доведено, що модель YOLOv8m є найбільш доцільною базовою архітектурою (Precision 0.89, Recall 0.86), яка забезпечує високу стабільність виявлення об’єктів різного масштабу та належну швидкість обробки. Майбутні напрямки дослідження спрямовані на усунення плутанини між текстовими класами, розробку гібридних систем із залученням семантичних метаданих, застосування підходів Few-Shot Learning, а також автоматизацію збору й розмітки даних безпосередньо під час виконання тестів у CI/CD-пайплайнах.

Zitieren

APA

ГНАТУШЕНКО, В., & ЦАРИК, В. (2026). МЕТОДОЛОГІЯ МАШИННОГО НАВЧАННЯ ДЛЯ АВТОМАТИЗАЦІЇ РОЗПІЗНАВАННЯ ЕЛЕМЕНТІВ ГРАФІЧНОГО ІНТЕРФЕЙСУ У ПРОЦЕСАХ ТЕСТУВАННЯ ВЕБЗАСТОСУНКІВ. Information Technology: Computer Science, Software Engineering and Cyber Security, 86-95. https://doi.org/10.32782/it/2026-3-10

Vancouver

ГНАТУШЕНКО В, ЦАРИК В. МЕТОДОЛОГІЯ МАШИННОГО НАВЧАННЯ ДЛЯ АВТОМАТИЗАЦІЇ РОЗПІЗНАВАННЯ ЕЛЕМЕНТІВ ГРАФІЧНОГО ІНТЕРФЕЙСУ У ПРОЦЕСАХ ТЕСТУВАННЯ ВЕБЗАСТОСУНКІВ. Information Technology: Computer Science, Software Engineering and Cyber Security. 2026:86-95. doi:10.32782/it/2026-3-10

BibTeX
@article{2026,
  author = {ГНАТУШЕНКО, Вікторія and ЦАРИК, Владислав},
  title = {МЕТОДОЛОГІЯ МАШИННОГО НАВЧАННЯ ДЛЯ АВТОМАТИЗАЦІЇ РОЗПІЗНАВАННЯ ЕЛЕМЕНТІВ ГРАФІЧНОГО ІНТЕРФЕЙСУ У ПРОЦЕСАХ ТЕСТУВАННЯ ВЕБЗАСТОСУНКІВ},
  journal = {Information Technology: Computer Science, Software Engineering and Cyber Security},
  year = {2026},
  number = {3},
  pages = {86--95},
  doi = {10.32782/it/2026-3-10}
}
Kostenlos starten →