Bài 10. Kế hoạch bảo trì định kỳ

1. Đặt vấn đề

Hệ thống AI local muốn hoạt động ổn định cần bảo trì định kỳ. Nếu chỉ cài đặt xong rồi để chạy, sau một thời gian sẽ phát sinh: log đầy, model cũ nhiều, backup lỗi, FAISS không cập nhật, GPU bụi/nóng, UPS pin yếu, hệ điều hành cần vá lỗi, API chậm, người dùng phản ánh câu trả lời sai nhưng không ai xử lý.

Kế hoạch bảo trì định kỳ giúp hệ thống không bị suy giảm chất lượng theo thời gian.

2. Bảo trì hằng ngày

Nên kiểm tra nhanh:

• Ollama service có chạy không.
• API/chatbot có truy cập được không.
• GPU có được nhận không.
• Dung lượng ổ có vượt ngưỡng không.
• Backup gần nhất có thành công không.
• Có lỗi nghiêm trọng trong log không.
• Queue có tồn request treo không.

Các bước này có thể tự động hóa.

3. Bảo trì hằng tuần

Nên thực hiện:

• Kiểm tra log lỗi.
• Kiểm tra dung lượng model, RAG, backup.
• Kiểm tra model không dùng.
• Kiểm tra câu hỏi lỗi/feedback người dùng.
• Test một số câu hỏi RAG chuẩn.
• Kiểm tra thời gian phản hồi trung bình.
• Kiểm tra nhiệt độ GPU khi tải.
• Kiểm tra file upload tạm.
• Kiểm tra logrotate.

4. Bảo trì hằng tháng

Nên thực hiện:

• Kiểm tra backup restore mẫu.
• Kiểm tra FAISS index và metadata.
• Rà soát danh sách model.
• Rà soát quyền người dùng.
• Rà soát prompt template.
• Kiểm tra cập nhật hệ điều hành.
• Đánh giá hiệu năng.
• Kiểm tra UPS.
• Làm sạch model/file/log không cần.
• Tổng hợp báo cáo vận hành AI.

5. Bảo trì hằng quý

Nên thực hiện:

• Đánh giá lại model mặc định.
• Benchmark lại nếu có model mới.
• Rà soát quy chế sử dụng AI.
• Rà soát phân quyền.
• Kiểm tra an toàn thông tin.
• Kiểm thử khôi phục toàn bộ hệ thống.
• Kiểm tra vật lý máy chủ.
• Đánh giá nhu cầu nâng cấp phần cứng.
• Đánh giá hiệu quả sử dụng theo phòng/khoa.

6. Bảo trì khi có thay đổi lớn

Cần bảo trì/kiểm tra đặc biệt khi:

• Cập nhật Ollama.
• Đổi model.
• Đổi embedding model.
• Rebuild RAG index.
• Thêm nguồn dữ liệu mới.
• Mở chatbot cho nhóm người dùng mới.
• Thay GPU/ổ cứng.
• Thay Nginx/API.
• Thay chính sách log.
• Tích hợp HIS/EMR/LIS/PACS.

Mọi thay đổi lớn cần có kế hoạch, backup và test.

7. Lịch bảo trì và thông báo

Nếu bảo trì gây gián đoạn, cần thông báo:

• Thời gian.
• Phạm vi ảnh hưởng.
• Dịch vụ bị dừng.
• Thời gian dự kiến.
• Người phụ trách.
• Kênh hỗ trợ.

Với hệ thống nội bộ, có thể chọn ngoài giờ hành chính.

8. Checklist bảo trì

Một checklist nên gồm:

Các nhóm:

• Service.
• Model.
• RAG.
• Backup.
• Log.
• Dung lượng.
• GPU/CPU/RAM.
• UPS.
• Bảo mật.
• Người dùng.
• Chất lượng câu trả lời.

9. Ghi nhật ký bảo trì

Cần ghi:

• Ngày giờ.
• Người thực hiện.
• Nội dung.
• Kết quả.
• Lỗi phát hiện.
• Hành động khắc phục.
• Việc cần theo dõi.
• Ảnh chụp/log nếu cần.
• Ký xác nhận nếu quy trình yêu cầu.

Nhật ký bảo trì giúp truy vết và chứng minh hệ thống được quản lý.

10. Bảo trì chất lượng AI

Không chỉ bảo trì phần cứng/phần mềm. Cần bảo trì chất lượng:

• Câu trả lời có còn đúng không?
• Tài liệu RAG có cập nhật không?
• Model có bịa không?
• Prompt có cần sửa không?
• Người dùng có dùng sai không?
• Có dữ liệu mới cần đưa vào index không?
• Có câu hỏi thường gặp chưa có tài liệu không?

AI là hệ thống tri thức sống, cần cập nhật liên tục.

11. Kết luận

Kế hoạch bảo trì định kỳ giúp hệ thống AI local bệnh viện vận hành ổn định, an toàn và hữu ích lâu dài. Cần bảo trì hằng ngày, hằng tuần, hằng tháng, hằng quý và khi có thay đổi lớn. Bảo trì không chỉ là kiểm tra service, mà còn gồm backup, log, model, RAG, phần cứng, UPS, bảo mật và chất lượng câu trả lời. Hệ thống AI chỉ bền vững khi có lịch bảo trì và người chịu trách nhiệm rõ ràng.