Evaluasi RAG: Mengukur Kualitas Retrieval dan Jawaban AI

Sistem Retrieval-Augmented Generation (RAG) bisa menghasilkan jawaban yang lancar tetapi mengambil dokumen yang keliru, mengabaikan bukti penting, atau membuat klaim yang tidak didukung sumber. Karena itu, keberhasilan RAG tidak cukup dinilai dari demo yang terlihat bagus. Tim perlu menguji dua bagian secara terpisah: apakah sistem menemukan konteks yang tepat dan apakah model menggunakan konteks itu secara benar.

Artikel ini berfokus pada pengukuran kualitas, bukan penjelasan dasar arsitektur RAG. Untuk pengantar cara kerja dan manfaatnya, baca juga artikel RAG dalam AI.

1. Siapkan dataset evaluasi yang realistis

Kumpulkan pertanyaan nyata atau representatif dari pengguna, lalu catat dokumen yang seharusnya ditemukan dan karakteristik jawaban yang dianggap benar. Sertakan pertanyaan mudah, pertanyaan ambigu, istilah teknis, dokumen terbaru, pertanyaan yang tidak mempunyai jawaban di sumber, serta kasus ketika pengguna tidak memiliki izin melihat dokumen tertentu.

Hindari menguji sistem hanya dengan contoh yang digunakan saat pengembangan prompt. Pisahkan data pengembangan dari data evaluasi agar tim tidak tanpa sadar mengoptimalkan sistem untuk jawaban yang sudah diketahui. Hilangkan informasi pribadi yang tidak diperlukan dan batasi akses ke kumpulan uji.

2. Ukur kualitas retrieval secara terpisah

Periksa apakah dokumen relevan muncul dalam hasil pencarian teratas. Metrik seperti Recall@k membantu menilai apakah sumber yang dibutuhkan berhasil ditemukan dalam sejumlah hasil pertama, sedangkan Precision@k menunjukkan seberapa banyak hasil teratas yang benar-benar relevan. Mean Reciprocal Rank (MRR) dan Normalized Discounted Cumulative Gain (NDCG) dapat membantu mengevaluasi posisi dokumen yang paling berguna ketika urutan hasil pencarian penting.

Metrik tersebut tidak menjelaskan seluruh pengalaman pengguna. Tinjau juga apakah potongan teks mempertahankan konteks yang cukup, apakah tabel dan judul diproses dengan benar, serta apakah filter metadata atau izin mengeluarkan dokumen secara tidak semestinya. Uji pencarian kata kunci, pencarian semantik, dan pencarian hibrida menggunakan dataset yang sama sebelum memilih konfigurasi.

3. Nilai jawaban akhir, bukan hanya hasil pencarian

Setelah retrieval, ukur apakah jawaban menanggapi pertanyaan, lengkap untuk tujuan pengguna, dan didukung konteks yang diberikan. Groundedness atau keterpautan pada sumber memeriksa apakah klaim jawaban benar-benar ditopang oleh konteks. Relevance menilai kesesuaian jawaban dengan pertanyaan, sedangkan completeness memeriksa apakah bagian penting dari jawaban yang diharapkan sudah tercakup.

Jika sistem menampilkan kutipan, audit apakah kutipan benar-benar mendukung kalimat yang dirujuk, apakah sumber dapat dibuka, dan apakah informasi yang diringkas tidak mengubah makna. Jangan menyamakan jawaban yang mempunyai tautan dengan jawaban yang telah dibuktikan benar. Tautan bisa saja tidak relevan atau hanya mendukung sebagian klaim.

Dokumentasi evaluasi RAG di Microsoft Learn menjelaskan contoh evaluator untuk retrieval, groundedness, relevance, dan completeness. Nama metrik serta implementasinya dapat berbeda antaralat, sehingga hasil evaluator otomatis sebaiknya dikalibrasi menggunakan penilaian manusia.

4. Uji kegagalan dan keamanan

• Dokumen sumber kosong, usang, saling bertentangan, atau memiliki duplikat.
• Pertanyaan yang tidak dapat dijawab dari sumber yang tersedia.
• Dokumen yang berisi instruksi berbahaya atau prompt injection.
• Pengguna yang mencoba mengambil dokumen di luar hak aksesnya.
• Perubahan indeks, model, prompt, chunking, atau reranker setelah pembaruan sistem.

Respons yang benar terkadang adalah mengakui bahwa bukti tidak cukup, meminta klarifikasi, atau tidak menjawab. Sistem yang selalu menjawab bisa tampak membantu dalam demo tetapi lebih berisiko di lingkungan produksi.

5. Bangun evaluasi yang bisa diulang

Simpan versi dataset, konfigurasi retrieval, prompt, model, dan ambang evaluasi bersama hasil pengujian. Setelah perubahan, jalankan kembali kumpulan uji untuk melihat apakah peningkatan pada satu metrik justru menurunkan metrik lain. Catat latensi, biaya, ukuran konteks, frekuensi jawaban tanpa bukti, serta tingkat keberhasilan pada tugas utama.

Gunakan sampel penilaian manusia secara berkala untuk memeriksa apakah evaluator otomatis memberikan skor yang masuk akal. Untuk kasus berisiko tinggi, tetapkan syarat rilis yang mencakup batas minimal kualitas, pemeriksaan akses, serta prosedur rollback jika kualitas menurun.

Tentukan ambang kelulusan sesuai risiko penggunaan

Tidak semua aplikasi memerlukan ambang yang sama. Asisten internal untuk mencari kebijakan umum memiliki profil risiko berbeda dari sistem yang membantu keputusan hukum, kesehatan, keuangan, atau operasi infrastruktur. Tetapkan kriteria sebelum melihat hasil tes: jenis kesalahan yang tidak boleh terjadi, seberapa lengkap jawaban harus dibuat, dan kapan sistem harus menolak menjawab karena sumber tidak cukup.

Skor agregat juga dapat menyembunyikan kelompok kasus yang gagal. Lihat hasil berdasarkan jenis pertanyaan, bahasa, sumber dokumen, tingkat kesulitan, dan hak akses. Jika sistem bekerja baik pada dokumen teks tetapi buruk pada tabel atau PDF, rata-rata keseluruhan mungkin tampak sehat padahal sebagian pengguna mendapat jawaban yang keliru.

Gunakan evaluasi otomatis dengan pemeriksaan manusia

Model penilai dapat membantu mengevaluasi banyak jawaban secara konsisten, tetapi juga bisa salah menilai, terlalu menyukai jawaban panjang, atau melewatkan kesalahan faktual yang halus. Buat rubrik penilaian yang jelas dan bandingkan sebagian hasil otomatis dengan penilaian manusia. Catat alasan ketidaksepakatan, lalu perbaiki rubrik atau kumpulan uji jika perlu.

Selain kualitas, uji biaya per pertanyaan dan waktu respons pada beban yang realistis. Retrieval yang lebih luas mungkin menaikkan peluang menemukan bukti, tetapi juga dapat memperbesar konteks, latensi, dan biaya. Pilih konfigurasi berdasarkan kompromi yang dapat diterima untuk kebutuhan nyata, bukan hanya skor tertinggi pada satu metrik.

Kesimpulan

Evaluasi RAG yang baik memisahkan kemampuan menemukan dokumen dari kemampuan menyusun jawaban berdasarkan bukti. Dataset realistis, metrik yang sesuai tujuan, pemeriksaan kutipan, uji akses, dan evaluasi regresi membuat perubahan sistem lebih mudah dipertanggungjawabkan. Satu angka skor tidak dapat menggantikan peninjauan terhadap konteks penggunaan dan konsekuensi jawaban salah.