Bài 13. Kiểm soát câu trả lời sai, thiếu căn cứ hoặc vượt thẩm quyền

1. Đặt vấn đề

Chatbot AI có thể trả lời sai. Đây là thực tế phải chấp nhận và quản trị. Trong bệnh viện, câu trả lời sai có thể gây hậu quả nghiêm trọng nếu liên quan đến chuyên môn, quy trình, pháp luật, dữ liệu người bệnh hoặc chỉ đạo điều hành. Vì vậy, xây dựng chatbot AI local không thể chỉ tập trung vào khả năng trả lời, mà phải có cơ chế kiểm soát câu trả lời sai, thiếu căn cứ hoặc vượt thẩm quyền.

Một chatbot an toàn không phải là chatbot luôn trả lời mọi câu hỏi. Chatbot an toàn là chatbot biết khi nào phải trả lời, khi nào phải nói chưa đủ căn cứ, khi nào phải chuyển người dùng đến người có thẩm quyền và khi nào phải từ chối.

2. Các loại lỗi thường gặp

2.1. Sai nội dung

Trả lời không đúng quy trình, sai bước, sai biểu mẫu, sai đơn vị phụ trách.

2.2. Thiếu căn cứ

Trả lời khi không có tài liệu nguồn hoặc nguồn không đủ.

2.3. Bịa thông tin

Tạo số liệu, căn cứ pháp lý, số văn bản, điều khoản, quy trình không tồn tại.

2.4. Vượt thẩm quyền

Tự chẩn đoán, kê đơn, chỉ định, kết luận pháp lý, phê duyệt văn bản.

2.5. Lộ dữ liệu

Trả lời bằng thông tin người dùng không có quyền xem.

2.6. Trả lời quá chung chung

Nghe đúng nhưng không dùng được.

3. Kiểm soát bằng system prompt

System prompt phải yêu cầu:

• Không bịa.
• Không trả lời khi thiếu căn cứ.
• Không vượt phạm vi.
• Không thay thế chuyên môn.
• Ưu tiên nguồn được cung cấp.
• Nêu rõ giới hạn.

Tuy nhiên, system prompt không đủ. Cần các lớp khác.

4. Kiểm soát bằng RAG

RAG giúp giảm sai bằng cách cung cấp nguồn. Nhưng RAG cũng có thể sai nếu truy xuất sai tài liệu. Cần:

• Chunking tốt.
• Metadata đúng.
• Lọc hiệu lực.
• Lọc quyền.
• Reranker nếu cần.
• Hiển thị nguồn.
• Nói không tìm thấy khi không có nguồn.

5. Kiểm soát bằng phân loại câu hỏi

API trung gian nên phân loại:

• Câu hỏi hành chính.
• Câu hỏi quy trình.
• Câu hỏi chuyên môn.
• Câu hỏi pháp luật.
• Câu hỏi cấp cứu.
• Câu hỏi dữ liệu nhạy cảm.
• Câu hỏi vượt quyền.

Mỗi loại có chính sách trả lời khác nhau.

6. Cơ chế từ chối an toàn

Chatbot cần biết từ chối:

• “Tôi chưa có đủ căn cứ từ tài liệu được cung cấp.”
• “Nội dung này cần bác sĩ/nhân viên có thẩm quyền đánh giá.”
• “Tôi không thể kê đơn hoặc đưa ra phác đồ điều trị.”
• “Bạn cần kiểm tra văn bản gốc hoặc liên hệ bộ phận phụ trách.”
• “Bạn không có quyền truy cập tài liệu này.”

Từ chối phải lịch sự, rõ ràng và gợi ý bước an toàn tiếp theo.

7. Hiển thị mức độ căn cứ

Có thể hiển thị:

• Có nguồn rõ.
• Có nguồn nhưng cần kiểm tra thêm.
• Không tìm thấy nguồn.
• Câu trả lời dạng gợi ý chung.
• Nội dung cần người có thẩm quyền duyệt.

Điều này giúp người dùng hiểu mức độ tin cậy.

8. Không tự động thực thi

Chatbot không nên tự động:

• Ban hành văn bản.
• Gửi công văn.
• Sửa dữ liệu HIS/EMR.
• Xóa dữ liệu.
• Phê duyệt hành động.
• Cập nhật hồ sơ.
• Gửi khuyến cáo điều trị cho người bệnh.

Nếu có tích hợp hành động, cần bước xác nhận và quyền rõ ràng.

9. Feedback người dùng

Cần có nút:

• Sai.
• Thiếu nguồn.
• Vượt thẩm quyền.
• Không hữu ích.
• Báo lỗi bảo mật.

Các phản hồi này phải được xem xét định kỳ để cải tiến model, prompt, RAG và dữ liệu.

10. Bộ kiểm thử an toàn

Trước khi triển khai, cần test:

• Câu hỏi yêu cầu bịa căn cứ.
• Câu hỏi không có tài liệu.
• Câu hỏi chẩn đoán/kê đơn.
• Câu hỏi truy cập tài liệu vượt quyền.
• Câu hỏi pháp luật không nguồn.
• Câu hỏi yêu cầu dữ liệu nhạy cảm.
• Câu hỏi cấp cứu.

Chatbot phải phản ứng an toàn.

11. Kiểm duyệt chuyên môn

Với nội dung chuyên môn, pháp luật, QLCL hoặc văn bản chính thức, cần người phụ trách chuyên môn đánh giá định kỳ. AI không thể tự bảo đảm chất lượng toàn bộ.

12. Cải tiến liên tục

Khi phát hiện lỗi:

1. Ghi nhận câu hỏi.
2. Xác định lỗi do model, prompt, RAG, dữ liệu hay phân quyền.
3. Sửa dữ liệu hoặc metadata.
4. Điều chỉnh prompt.
5. Thêm câu hỏi vào bộ test.
6. Test lại.
7. Cập nhật hướng dẫn người dùng.

Đây là cách quản trị AI theo vòng cải tiến.

13. Kết luận

Kiểm soát câu trả lời sai, thiếu căn cứ hoặc vượt thẩm quyền là yêu cầu sống còn của chatbot AI local trong bệnh viện. Cần kết hợp system prompt, RAG, phân quyền, phân loại câu hỏi, cơ chế từ chối an toàn, hiển thị nguồn, feedback, kiểm thử và kiểm duyệt chuyên môn. Một chatbot tốt không phải chatbot trả lời mọi thứ, mà là chatbot biết trả lời đúng phạm vi và biết dừng lại khi không đủ căn cứ.