Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application
Journal of Technology and Data Science · 30.06.2025 · 3 (1) · 120-130
DOI: 10.59025/9365e6b9 ↗Kurz gefasst
Fachartikel in der Zeitschrift Journal of Technology and Data Science, online erschienen am 30.06.2025. Verfasst von Nadiya Ghefira El Firsi und 4 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-SA 4.0).
Abstract (Originalsprache)
Chatbot berbasis Large Language Model (LLM) yang banyak digunakan saat ini umumnya beroperasi secara reaktif: pengguna harus secara eksplisit menyebut ulang konten dokumen yang telah diunggah pada setiap permintaan. Pola tersebut menambah beban kognitif dan menurunkan kualitas jawaban ketika pengguna lupa menyertakan konteks. Penelitian ini mengimplementasikan dan mengevaluasi mekanisme pembacaan konteks proaktif pada aplikasi chatbot AI berbasis web yang dibangun dengan Python Flask dan terintegrasi dengan OpenRouter API multi-model. Mekanisme proaktif menyisipkan seluruh konten file yang telah diunggah ke dalam system message sebelum kueri pengguna dikirim ke API. Pengembangan menggunakan metode Waterfall yang dimodifikasi dengan fase evaluasi komparatif. Sistem menghasilkan 525 baris kode Python dengan 14 endpoint REST dan dukungan lima format file. Pengujian black-box pada 32 skenario mencatat 31 berhasil (96,9 persen). Evaluasi komparatif terhadap empat metrik kualitas menunjukkan mode proaktif unggul: relevansi 91,2 persen versus 68,5 persen mode reaktif, kelengkapan jawaban 88,7 persen versus 62,4 persen, akurasi faktual 89,4 persen versus 71,8 persen, dan rata-rata token per request 3.420 versus 1.180. Survei kepuasan End-User Computing Satisfaction terhadap 15 responden menghasilkan skor 4,1 dari 5 untuk mode proaktif dan 3,2 untuk mode reaktif. Kontribusi penelitian adalah bukti empiris bahwa injeksi konteks proaktif meningkatkan relevansi 22,7 poin persentase dengan trade-off konsumsi token yang dapat dikelola.
Zitieren
APA
Firsi, N. G. E., Ulga, N. T., Dianis, E., Muhajir, A., & Islami, M. R. R. (2025). Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application. Journal of Technology and Data Science, 3(1), 120-130. https://doi.org/10.59025/9365e6b9
Vancouver
Firsi NGE, Ulga NT, Dianis E, Muhajir A, Islami MRR. Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application. Journal of Technology and Data Science. 2025;3(1):120-130. doi:10.59025/9365e6b9
BibTeX
@article{Firsi2025,
author = {Firsi, Nadiya Ghefira El and Ulga, Nandy Thaher and Dianis, Elya and Muhajir, Ahmad and Islami, Muhammad Reza Redo},
title = {Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application},
journal = {Journal of Technology and Data Science},
year = {2025},
volume = {3},
number = {1},
pages = {120--130},
doi = {10.59025/9365e6b9}
}
EUVIMED