Bài 9. Cải tiến liên tục hệ thống AI local

1. Đặt vấn đề

AI local không phải hệ thống cài đặt một lần rồi hoàn thành. Model thay đổi, tài liệu bệnh viện thay đổi, quy trình thay đổi, người dùng thay đổi, nhu cầu công việc thay đổi và rủi ro mới xuất hiện. Vì vậy, hệ thống AI local cần được cải tiến liên tục giống như một hệ thống quản lý chất lượng.

Nếu không cải tiến, AI sẽ dần lạc hậu: trả lời theo tài liệu cũ, prompt không phù hợp, model yếu, RAG truy xuất sai, người dùng mất niềm tin và hệ thống không còn giá trị.

2. Cải tiến theo chu trình PDCA

Có thể áp dụng PDCA:

Plan

Xác định vấn đề cần cải tiến: câu trả lời sai, chậm, thiếu nguồn, người dùng không hài lòng.

Do

Thử sửa prompt, cập nhật tài liệu, đổi model, tối ưu RAG, đào tạo người dùng.

Check

Đo lại chất lượng, tốc độ, phản hồi và lỗi.

Act

Chuẩn hóa thay đổi nếu hiệu quả; nếu không, điều chỉnh tiếp.

Đây là cách rất phù hợp với bệnh viện.

3. Cải tiến dữ liệu

Dữ liệu là nền tảng. Cần cải tiến:

• Bổ sung tài liệu thiếu.
• Gỡ tài liệu hết hiệu lực.
• Chuẩn hóa metadata.
• Cập nhật phiên bản.
• Làm sạch file lỗi.
• Chia chunk tốt hơn.
• Phân quyền tài liệu chính xác hơn.
• Thêm từ khóa đồng nghĩa.
• Tách tài liệu nhạy cảm khỏi RAG chung.

Nhiều lỗi AI thực chất là lỗi dữ liệu.

4. Cải tiến RAG

RAG cần được tinh chỉnh:

• Embedding model.
• Chunk size.
• Chunk overlap.
• Top-k.
• Reranking.
• Lọc metadata.
• Lọc theo quyền.
• Cách đưa nguồn vào prompt.
• Cách hiển thị nguồn.
• Cách xử lý khi không tìm thấy tài liệu.

RAG tốt giúp model nhỏ cũng trả lời đáng tin hơn.

5. Cải tiến prompt

Prompt cần được cập nhật khi phát hiện:

• Câu trả lời quá dài.
• Câu trả lời thiếu cấu trúc.
• AI hay bịa số liệu.
• AI không nói thiếu căn cứ.
• AI tạo bảng kiểm quá chung.
• AI vượt thẩm quyền chuyên môn.
• AI không đúng văn phong bệnh viện.

Mỗi chatbot nên có prompt template riêng và có version.

6. Cải tiến model

Có thể cần đổi model khi:

• Model tiếng Việt kém.
• Model trả lời chậm.
• Model hay hallucination.
• Model không theo instruction.
• Model yếu trong viết văn bản dài.
• Model quá nặng với GPU hiện có.
• Có model mới tốt hơn sau benchmark.

Không nên đổi model ngay trên production mà không test.

7. Cải tiến giao diện

Giao diện ảnh hưởng lớn đến sử dụng. Có thể cải tiến:

• Gợi ý câu hỏi mẫu.
• Chọn loại tác vụ.
• Hiển thị nguồn rõ hơn.
• Nút copy.
• Nút báo sai.
• Cảnh báo không nhập dữ liệu nhạy cảm.
• Chế độ trả lời ngắn/chi tiết.
• Lịch sử hội thoại có kiểm soát.
• Hướng dẫn cách hỏi.

Giao diện tốt giúp người dùng hỏi đúng hơn.

8. Cải tiến đào tạo người dùng

Nếu người dùng hỏi chưa rõ hoặc dùng sai, cần đào tạo:

• Cách đặt câu hỏi.
• Cách yêu cầu nguồn.
• Cách dùng AI viết bản nháp.
• Cách kiểm tra câu trả lời.
• Không nhập dữ liệu nhạy cảm.
• Không dùng AI thay quyết định chuyên môn.
• Cách báo lỗi.

Đào tạo nên lặp lại, không chỉ một lần khi triển khai.

9. Cải tiến vận hành

Cần cải tiến:

• Hàng đợi request.
• Rate limit.
• Backup.
• Log.
• Giám sát GPU/RAM/disk.
• Lịch bảo trì.
• Cảnh báo lỗi.
• Quy trình cập nhật model.
• Quy trình restore.
• Tài liệu vận hành.

Hệ thống càng nhiều người dùng càng cần vận hành chuyên nghiệp.

10. Hội đồng hoặc nhóm phụ trách cải tiến AI

Nên có nhóm phụ trách gồm:

• CNTT.
• QLCL.
• KHTH.
• Đại diện người dùng.
• Đại diện chuyên môn khi cần.
• Lãnh đạo phụ trách.

Nhóm này xem báo cáo định kỳ, ưu tiên cải tiến và quyết định mở rộng.

11. Báo cáo cải tiến AI định kỳ

Báo cáo có thể gồm:

• Mức độ sử dụng.
• Tốc độ.
• Chất lượng câu trả lời.
• Feedback người dùng.
• Lỗi/sự cố.
• Tài liệu mới cập nhật.
• Prompt/model thay đổi.
• Rủi ro an toàn thông tin.
• Đề xuất cải tiến tháng tới.

Báo cáo giúp lãnh đạo bệnh viện theo dõi hệ thống AI như một hoạt động quản trị chính thức.

12. Kết luận

Cải tiến liên tục là điều kiện để hệ thống AI local duy trì giá trị trong bệnh viện. Cần cải tiến dữ liệu, RAG, prompt, model, giao diện, đào tạo và vận hành dựa trên chỉ số và phản hồi người dùng. AI local không phải một sản phẩm hoàn thiện ngay từ đầu, mà là một nền tảng tri thức cần được quản lý, cập nhật và nâng cấp thường xuyên. Khi áp dụng tư duy cải tiến liên tục, bệnh viện có thể biến AI local thành công cụ hỗ trợ bền vững cho quản trị, chất lượng và chuyển đổi số.