Bài 7. Ghi log câu hỏi, câu trả lời và người sử dụng

1. Đặt vấn đề

Ghi log là yêu cầu quan trọng để quản trị hệ thống AI local. Nếu không có log, bệnh viện không biết ai đã dùng AI, hỏi nội dung gì, dùng model nào, truy xuất tài liệu nào, câu trả lời ra sao, có lỗi không, có lạm dụng không, có sự cố dữ liệu không. Khi xảy ra tranh chấp hoặc sai sót, không có log thì không thể truy vết.

Tuy nhiên, log AI cũng có thể chứa dữ liệu nhạy cảm. Nếu lưu toàn bộ câu hỏi và câu trả lời mà không kiểm soát, log có thể trở thành kho chứa bệnh án, sự cố, phản ánh, dữ liệu nhân sự hoặc tài chính. Vì vậy, cần chính sách log cân bằng giữa truy vết và bảo mật.

2. Vì sao cần ghi log?

Log giúp:

• Truy vết sự cố.
• Đánh giá chất lượng câu trả lời.
• Phát hiện lạm dụng.
• Theo dõi tải hệ thống.
• Cải tiến prompt và RAG.
• Phát hiện câu hỏi không có nguồn.
• Kiểm tra phân quyền.
• Xác định trách nhiệm sử dụng.
• Hỗ trợ audit nội bộ.
• Đánh giá hiệu quả triển khai AI.

3. Nên ghi những thông tin nào?

Tối thiểu nên ghi:

• User ID.
• Vai trò.
• Khoa/phòng.
• Thời gian.
• Endpoint/chức năng.
• Model sử dụng.
• Tác vụ.
• Trạng thái thành công/lỗi.
• Thời gian xử lý.
• Độ dài prompt/response.
• Nguồn tài liệu RAG được truy xuất.
• Feedback của người dùng nếu có.

4. Có nên ghi toàn bộ câu hỏi và câu trả lời không?

Câu trả lời phụ thuộc vào mức độ nhạy cảm.

Với tác vụ rủi ro thấp

Có thể lưu prompt/response để cải tiến chất lượng, ví dụ hỏi quy trình công khai nội bộ.

Với tác vụ nhạy cảm

Có thể chỉ lưu metadata, hoặc lưu nội dung đã ẩn danh, hoặc lưu trong khu vực bảo mật với phân quyền chặt.

Với dữ liệu rất nhạy cảm

Cần cân nhắc không lưu nội dung, chỉ lưu dấu vết truy cập và trạng thái xử lý.

5. Log câu hỏi

Câu hỏi người dùng có thể chứa dữ liệu nhạy cảm. Ví dụ, người dùng copy bệnh án vào ô chat. Nếu hệ thống lưu nguyên câu hỏi, log sẽ chứa bệnh án. Vì vậy, cần:

• Cảnh báo người dùng không nhập dữ liệu nhạy cảm vào chatbot chung.
• Tự động phát hiện dữ liệu định danh nếu có thể.
• Ẩn danh trước khi lưu nếu phù hợp.
• Không lưu prompt thô ở chức năng nhạy cảm nếu chưa có chính sách.

6. Log câu trả lời

Response cũng có thể chứa thông tin nhạy cảm, đặc biệt khi AI tóm tắt dữ liệu người bệnh hoặc báo cáo sự cố. Cần kiểm soát lưu response giống như prompt.

Không nên để log response có thể xem bởi quản trị viên không có thẩm quyền nội dung.

7. Log nguồn RAG

Với RAG, nên ghi tài liệu/chunk nào được truy xuất:

• Tên tài liệu.
• Chunk ID.
• Phiên bản.
• Điểm truy xuất nếu có.
• Có bị lọc quyền không.
• Nguồn được đưa vào prompt.

Điều này giúp điều tra khi AI trả lời sai.

8. Phân quyền xem log

Không phải admin kỹ thuật nào cũng nên xem nội dung log nhạy cảm. Có thể phân quyền:

• Log kỹ thuật: phòng CNTT.
• Log chất lượng: phòng QLCL theo phạm vi.
• Log dữ liệu nhạy cảm: chỉ người được ủy quyền.
• Log tổng hợp: lãnh đạo hoặc quản trị.

Cần tách metadata log và nội dung nhạy cảm nếu có thể.

9. Thời gian lưu log

Cần quy định:

• Log kỹ thuật lưu bao lâu.
• Log hội thoại lưu bao lâu.
• Log nhạy cảm lưu bao lâu.
• Khi nào xóa.
• Khi nào lưu phục vụ audit.
• Backup log ra sao.
• Người dùng có được yêu cầu xóa hội thoại không.

Không nên lưu vô hạn nếu không có lý do.

10. Log và cải tiến hệ thống

Log có thể dùng để cải tiến:

• Câu hỏi hay gặp.
• Tài liệu thiếu.
• Câu trả lời sai.
• Prompt chưa tốt.
• RAG truy xuất sai.
• Model yếu.
• Người dùng dùng sai mục đích.

Nhưng nếu dùng log để cải tiến, phải loại bỏ dữ liệu nhạy cảm hoặc có quy trình cho phép.

11. Kết luận

Ghi log là cần thiết để quản trị AI local, nhưng log cũng là dữ liệu nhạy cảm. Bệnh viện cần chính sách rõ về log câu hỏi, câu trả lời, người sử dụng, nguồn RAG, thời gian lưu, phân quyền xem và xóa log. Mục tiêu là đủ truy vết và cải tiến, nhưng không biến log thành kho rủi ro dữ liệu.