Bài 13. Kiểm soát hallucination trong hệ thống RAG

1. Đặt vấn đề

RAG giúp giảm hallucination nhưng không loại bỏ hoàn toàn. Model vẫn có thể bịa, diễn giải quá mức, trộn kiến thức ngoài nguồn, dùng sai tài liệu hoặc trả lời quá tự tin khi nguồn không đủ. Trong bệnh viện, hallucination có thể dẫn đến dùng sai quy trình, sai biểu mẫu, sai pháp luật, sai hướng dẫn chuyên môn hoặc hiểu nhầm thẩm quyền.

Vì vậy, kiểm soát hallucination là nhiệm vụ bắt buộc khi xây dựng RAG.

2. Hallucination trong RAG là gì?

Hallucination trong RAG có thể gồm:

• Bịa nội dung không có trong nguồn.
• Bịa số văn bản, mã biểu mẫu, điều khoản.
• Trộn nguồn cũ và mới.
• Trả lời khi không có tài liệu.
• Suy luận quá xa từ nguồn.
• Gán sai nguồn cho một ý.
• Tự tạo bước quy trình.
• Diễn giải thành yêu cầu bắt buộc dù nguồn chỉ khuyến nghị.

3. Nguyên nhân hallucination

3.1. Truy xuất sai

FAISS tìm sai chunk, model nhận sai nguồn.

3.2. Nguồn không đủ

Tài liệu không chứa câu trả lời nhưng model vẫn cố trả lời.

3.3. Prompt yếu

Prompt không yêu cầu bám nguồn hoặc không yêu cầu nói thiếu căn cứ.

3.4. Model quá sáng tạo

Temperature cao làm tăng nguy cơ bịa.

3.5. Dữ liệu lộn xộn

Bản cũ, bản nháp, bản trùng lẫn trong kho.

3.6. Không lọc quyền/hiệu lực

Model dùng tài liệu không phù hợp.

4. Kiểm soát từ dữ liệu

Cần:

• Loại bản cũ.
• Đánh dấu hiệu lực.
• Loại bản nháp.
• Chuẩn hóa metadata.
• Kiểm tra chunk.
• Không đưa tài liệu không rõ nguồn vào kho chính thức.

Dữ liệu sạch là lớp phòng thủ đầu tiên.

5. Kiểm soát từ retrieval

Cần:

• Dùng hybrid search.
• Dùng reranker nếu cần.
• Đặt ngưỡng điểm liên quan.
• Không trả lời nếu điểm quá thấp.
• Lọc quyền.
• Lọc hiệu lực.
• Ưu tiên tài liệu chính thức.

Nếu retrieval không chắc, không nên ép model trả lời.

6. Kiểm soát từ prompt

Prompt phải có:

• Chỉ trả lời dựa trên tài liệu.
• Không tự bịa.
• Nói chưa đủ căn cứ nếu thiếu nguồn.
• Trích nguồn cho từng ý quan trọng.
• Không dùng kiến thức ngoài cho quy trình nội bộ.
• Phân biệt diễn giải và trích dẫn.

7. Kiểm soát bằng tham số model

Dùng temperature thấp cho RAG:

• Quy trình: 0.1–0.3.
• Pháp luật: 0.1–0.2.
• Tóm tắt: 0.1–0.3.
• Chuyên môn: thấp và thận trọng.

Không nên dùng temperature cao cho câu hỏi cần căn cứ.

8. Kiểm soát bằng cơ chế “không đủ căn cứ”

Chatbot phải được phép không trả lời. Đây là nguyên tắc quan trọng. Nếu hệ thống luôn buộc AI trả lời, AI sẽ bịa.

Câu trả lời an toàn:

“Các tài liệu được truy xuất chưa đủ căn cứ để trả lời câu hỏi này.”

9. Kiểm soát bằng hậu kiểm

Có thể hậu kiểm response:

• Response có nhắc nguồn không?
• Có chứa số văn bản không có trong nguồn không?
• Có nói “theo quy định” nhưng không có nguồn không?
• Có vượt phạm vi chuyên môn không?
• Có mâu thuẫn nguồn không?

Một số kiểm tra có thể tự động, nhưng vẫn cần đánh giá con người.

10. Feedback và cải tiến

Mỗi lỗi hallucination cần được ghi nhận:

• Câu hỏi.
• Nguồn truy xuất.
• Câu trả lời.
• Loại lỗi.
• Nguyên nhân.
• Cách sửa.

Sau đó cập nhật dữ liệu, chunking, prompt, retrieval hoặc model.

11. Kết luận

Kiểm soát hallucination trong RAG cần nhiều lớp: dữ liệu sạch, truy xuất đúng, prompt chặt, model temperature thấp, cơ chế không đủ căn cứ, hiển thị nguồn, hậu kiểm và feedback. Trong bệnh viện, chấp nhận AI “không trả lời khi thiếu nguồn” an toàn hơn nhiều so với AI trả lời tự tin nhưng sai.