EUVIMEDEUVIMED entdecken
Open Access · CC BY-SA 4.0

Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application

Nadiya Ghefira El Firsi, Nandy Thaher Ulga, Elya Dianis, Ahmad Muhajir, Muhammad Reza Redo Islami

Journal of Technology and Data Science · 30.06.2025 · 3 (1) · 120-130

DOI: 10.59025/9365e6b9 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Journal of Technology and Data Science, online erschienen am 30.06.2025. Verfasst von Nadiya Ghefira El Firsi und 4 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-SA 4.0).

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Chatbot berbasis Large Language Model (LLM) yang banyak digunakan saat ini umumnya beroperasi secara reaktif: pengguna harus secara eksplisit menyebut ulang konten dokumen yang telah diunggah pada setiap permintaan. Pola tersebut menambah beban kognitif dan menurunkan kualitas jawaban ketika pengguna lupa menyertakan konteks. Penelitian ini mengimplementasikan dan mengevaluasi mekanisme pembacaan konteks proaktif pada aplikasi chatbot AI berbasis web yang dibangun dengan Python Flask dan terintegrasi dengan OpenRouter API multi-model. Mekanisme proaktif menyisipkan seluruh konten file yang telah diunggah ke dalam system message sebelum kueri pengguna dikirim ke API. Pengembangan menggunakan metode Waterfall yang dimodifikasi dengan fase evaluasi komparatif. Sistem menghasilkan 525 baris kode Python dengan 14 endpoint REST dan dukungan lima format file. Pengujian black-box pada 32 skenario mencatat 31 berhasil (96,9 persen). Evaluasi komparatif terhadap empat metrik kualitas menunjukkan mode proaktif unggul: relevansi 91,2 persen versus 68,5 persen mode reaktif, kelengkapan jawaban 88,7 persen versus 62,4 persen, akurasi faktual 89,4 persen versus 71,8 persen, dan rata-rata token per request 3.420 versus 1.180. Survei kepuasan End-User Computing Satisfaction terhadap 15 responden menghasilkan skor 4,1 dari 5 untuk mode proaktif dan 3,2 untuk mode reaktif. Kontribusi penelitian adalah bukti empiris bahwa injeksi konteks proaktif meningkatkan relevansi 22,7 poin persentase dengan trade-off konsumsi token yang dapat dikelola.

Zitieren

APA

Firsi, N. G. E., Ulga, N. T., Dianis, E., Muhajir, A., & Islami, M. R. R. (2025). Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application. Journal of Technology and Data Science, 3(1), 120-130. https://doi.org/10.59025/9365e6b9

Vancouver

Firsi NGE, Ulga NT, Dianis E, Muhajir A, Islami MRR. Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application. Journal of Technology and Data Science. 2025;3(1):120-130. doi:10.59025/9365e6b9

BibTeX
@article{Firsi2025,
  author = {Firsi, Nadiya Ghefira El and Ulga, Nandy Thaher and Dianis, Elya and Muhajir, Ahmad and Islami, Muhammad Reza Redo},
  title = {Implementation and Evaluation of a Proactive Context Reading Mechanism in a Web-Based AI Chatbot Application},
  journal = {Journal of Technology and Data Science},
  year = {2025},
  volume = {3},
  number = {1},
  pages = {120--130},
  doi = {10.59025/9365e6b9}
}
Kostenlos starten →