Kamu Web Sitelerinin Rehber Tabanlı Kullanılabilirlik Değerlendirmelerinin Yapay Zekâ Destekli Otomasyonu
International Journal of Advances in Engineering and Pure Sciences · 30.06.2026 · 38 (2) · 351-364
DOI: 10.7240/jeps.1834806 ↗Kurz gefasst
Fachartikel in der Zeitschrift International Journal of Advances in Engineering and Pure Sciences, online erschienen am 30.06.2026. Verfasst von Savaş Öztürk und 6 weiteren Autor:innen. Die Arbeit nennt 52 Literaturangaben. Gefördert von: Bu çalışma TÜBİTAK BİLGEM Yazılım Test ve Kalite Değerlendirme Laboratuvarı'nın öz kaynakları ile gerçekleştirilmiştir..
Abstract (Originalsprache)
Bu çalışmada, kamu kurumlarının internet sitelerinin kullanılabilirlik değerlendirmelerinde kullanılan Kamu Kurumları İnternet Siteleri Rehberi (KAMİS)’nin uzman değerlendirmesinin zaman alıcı olması ve öznel yargıya açık olması nedeniyle, Büyük Dil Modelleri (LLM) aracılığıyla otomatik olarak yapılabilmesi araştırılmıştır. Bu kapsamda, rehber tabanlı değerlendirmelerin insan uzmanlardan bağımsız, hızlı ve nesnel bir biçimde gerçekleştirilebilmesi hedeflenmiştir. Çalışmada altı güncel LLM, KAMİS Rehberi’nin iki başlıkta yer alan 17 maddesi üzerinde test edilmiştir. Her madde için özel komutlar hazırlanmış; modellerden “Evet/Hayır/Kısmen” yanıtları ve gerekçeleri istenmiştir. Üretilen gerekçeler BLEU, METEOR ve BERTScore ölçütleri ile benzerlik açısından karşılaştırılmıştır. Modeller 17 maddenin 9’unda ortak sonuca ulaşmış; özellikle ChatGPT 5, Gemini Flash 2.5 ve Deepseek-V3’ün yüksek tutarlılık sergilediği görülmüştür. Benzerlik analizlerinde en güvenilir yöntemin BERTScore olduğu tespit edilmiştir. Bu çalışma, kullanılabilirlik rehberlerinin LLM’lerle otomatik değerlendirilmesine yönelik ilk kapsamlı uygulamalardan biri olup, kullanılabilirlik testlerinin dakikalar içinde, insan etkisinden bağımsız ve tekrarlanabilir biçimde yapılabileceğini ortaya koymaktadır.
Förderung
- Bu çalışma TÜBİTAK BİLGEM Yazılım Test ve Kalite Değerlendirme Laboratuvarı'nın öz kaynakları ile gerçekleştirilmiştir.
Zitieren
APA
Öztürk, S., Altınözen, M., Yenigün, B. U., Gül, T., Odabaşı, M., Şahin, A. S., & Öztanır, O. (2026). Kamu Web Sitelerinin Rehber Tabanlı Kullanılabilirlik Değerlendirmelerinin Yapay Zekâ Destekli Otomasyonu. International Journal of Advances in Engineering and Pure Sciences, 38(2), 351-364. https://doi.org/10.7240/jeps.1834806
Vancouver
Öztürk S, Altınözen M, Yenigün BU, Gül T, Odabaşı M, Şahin AS, et al. Kamu Web Sitelerinin Rehber Tabanlı Kullanılabilirlik Değerlendirmelerinin Yapay Zekâ Destekli Otomasyonu. International Journal of Advances in Engineering and Pure Sciences. 2026;38(2):351-364. doi:10.7240/jeps.1834806
BibTeX
@article{ztrk2026,
author = {Öztürk, Savaş and Altınözen, Merve and Yenigün, Bengisu Uzun and Gül, Tolga and Odabaşı, Merve and Şahin, Ahmet Samet and Öztanır, Olcay},
title = {Kamu Web Sitelerinin Rehber Tabanlı Kullanılabilirlik Değerlendirmelerinin Yapay Zekâ Destekli Otomasyonu},
journal = {International Journal of Advances in Engineering and Pure Sciences},
year = {2026},
volume = {38},
number = {2},
pages = {351--364},
doi = {10.7240/jeps.1834806}
}
EUVIMED