Groundedness-Aware Retrieval untuk Reduksi Halusinasi pada Chatbot Dokumen Pemerintah di Era Big Data
Reflection Journal · 2026
DOI: 10.36312/e83cp606 ↗Kurz gefasst
Fachartikel in der Zeitschrift Reflection Journal, 2026. Verfasst von Frendy Rocky Rumamby und 3 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-SA 4.0).
Abstract (Originalsprache)
Model Bahasa Besar (LLM) makin banyak dipakai untuk chatbot layanan publik karena mampu menyintesis informasi dari korpus dokumen yang besar. Namun, kecenderungan halusinasi pada LLM berisiko menghasilkan informasi administratif yang tampak meyakinkan tetapi tidak bersumber dari dokumen resmi. Penelitian ini mengusulkan kerangka Groundedness-Aware Retrieval (GAR) yang menggabungkan hybrid retrieval (BM25 + embedding), verifikasi groundedness multi-lapis, decoding sadar ketidakpastian, dan penelusuran bukti (evidence traceability) agar jawaban dapat diaudit. Pengujian pada 350 kueri administratif realistis menunjukkan GAR meningkatkan groundedness menjadi 0,91, menaikkan presisi faktual menjadi 94,8%, dan menurunkan tingkat halusinasi menjadi 3,5% dibanding LLM dasar dan RAG standar. Keunikan GAR dibanding RAG konvensional terletak pada lapisan verifikasi groundedness dan mekanisme penolakan/penandaan ketidakpastian yang secara eksplisit mencegah klaim tanpa bukti. Groundedness-Aware Retrieval to Reduce Hallucinations in Government Document Chatbots in the Big Data Era Large Language Models (LLMs) are increasingly adopted in public-service chatbots, yet they remain vulnerable to hallucinations that can surface as authoritative-looking but unsupported administrative claims. We propose a Groundedness-Aware Retrieval (GAR) framework that combines hybrid retrieval (BM25 + dense embeddings), multi-layer groundedness verification, uncertainty-aware decoding, and evidence traceability for auditability. On 350 realistic administrative queries, GAR outperforms a baseline LLM and standard RAG, achieving a groundedness score of 0.91, factual precision of 94.8%, and a hallucination rate of 3.5%. Compared with conventional RAG, GAR is distinctive in its explicit groundedness-verification layer and refusal/uncertainty tagging that prevents evidence-free generation.
Zitieren
APA
Rumamby, F. R., Prasetya, D. D., Elmunsyah, H., & Sendari, S. (2026). Groundedness-Aware Retrieval untuk Reduksi Halusinasi pada Chatbot Dokumen Pemerintah di Era Big Data. Reflection Journal. https://doi.org/10.36312/e83cp606
Vancouver
Rumamby FR, Prasetya DD, Elmunsyah H, Sendari S. Groundedness-Aware Retrieval untuk Reduksi Halusinasi pada Chatbot Dokumen Pemerintah di Era Big Data. Reflection Journal. 2026. doi:10.36312/e83cp606
BibTeX
@article{Rumamby2026,
author = {Rumamby, Frendy Rocky and Prasetya, Didik Dw and Elmunsyah, Hakkun and Sendari, Siti},
title = {Groundedness-Aware Retrieval untuk Reduksi Halusinasi pada Chatbot Dokumen Pemerintah di Era Big Data},
journal = {Reflection Journal},
year = {2026},
doi = {10.36312/e83cp606}
}
EUVIMED