Bài 3. Quản lý dung lượng lưu trữ model

1. Đặt vấn đề

Các model AI có dung lượng lớn. Một model nhỏ có thể vài GB, model trung bình có thể nhiều GB, model lớn có thể hàng chục GB. Khi tải nhiều model để thử nghiệm, dung lượng ổ cứng có thể tăng rất nhanh. Nếu không theo dõi, ổ hệ thống có thể đầy, làm Ollama lỗi, API lỗi, log không ghi được, database dừng hoặc hệ thống mất ổn định.

Quản lý dung lượng lưu trữ model là yêu cầu vận hành thường xuyên.

2. Kiểm tra dung lượng ổ cứng

Dùng:

df -h

Cần xem:

• Phân vùng /.
• Phân vùng chứa thư mục Ollama model.
• Phân vùng chứa Docker nếu có.
• Phân vùng chứa FAISS, metadata, tài liệu.
• Phân vùng log.
• Phân vùng backup.

Nếu / đầy, hệ thống có thể lỗi nghiêm trọng.

3. Kiểm tra dung lượng thư mục Ollama

Tùy cách cài, model thường nằm trong thư mục của Ollama. Có thể kiểm tra bằng:

sudo du -sh /usr/share/ollama/.ollama

hoặc kiểm tra thư mục home của user chạy Ollama nếu cấu hình khác.

Cần xác định chính xác thư mục model trên máy chủ của bệnh viện và ghi vào tài liệu vận hành.

4. Kiểm tra dung lượng từng model

ollama list cho biết kích thước model. Dùng:

ollama list

Sau đó xác định model nào lớn, model nào không còn dùng.

5. Nguy cơ khi ổ cứng đầy

Ổ cứng đầy có thể gây:

• Không tải được model mới.
• Ollama lỗi khi ghi dữ liệu.
• Log không ghi được.
• API lỗi.
• Database lỗi.
• FAISS không cập nhật được.
• Backup thất bại.
• Hệ thống treo hoặc chậm.

Với máy chủ bệnh viện, cần đặt cảnh báo trước khi đầy, ví dụ khi dùng trên 80% hoặc 90%.

6. Phân vùng lưu model

Nếu ổ hệ thống nhỏ, nên cân nhắc đặt model ở phân vùng dữ liệu lớn hơn hoặc SSD/NVMe đủ dung lượng. Tuy nhiên, không nên đặt model trên HDD chậm nếu thường xuyên load/unload model lớn, vì thời gian load có thể tăng.

Nên phân biệt:

• SSD/NVMe: model, index, database, ứng dụng.
• HDD: tài liệu gốc lớn, backup, archive.

7. Xóa model thử nghiệm

Sau benchmark, nên xóa model không dùng:

ollama rm ten-model

Không nên để máy chủ tích tụ nhiều model thử nghiệm.

8. Quản lý model theo nhóm

Có thể đặt chính sách:

• Chỉ giữ model sản xuất.
• Model thử nghiệm xóa sau 30 ngày nếu không dùng.
• Model lớn chỉ giữ khi có người phụ trách.
• Model cũ xóa sau khi có bản thay thế ổn định.
• Trước khi xóa, kiểm tra ứng dụng không còn gọi.

9. Theo dõi tự động dung lượng

Có thể viết script kiểm tra:

• df -h.
• Dung lượng thư mục model.
• Dung lượng log.
• Dung lượng FAISS.
• Dung lượng backup.
• Gửi cảnh báo khi vượt ngưỡng.

Với bệnh viện, cảnh báo dung lượng rất cần thiết vì đầy ổ có thể gây dừng hệ thống.

10. Không để backup model lặp lại quá nhiều

Nếu backup toàn bộ thư mục model mỗi ngày, dung lượng backup sẽ tăng rất lớn. Cần có retention:

• Giữ bản gần nhất.
• Hoặc backup sau khi thay đổi model.
• Không backup trùng lặp nếu model tải lại được.
• Ưu tiên backup Modelfile, danh sách model, digest và cấu hình.

Model có thể tải lại, nhưng model tùy biến và cấu hình cần giữ.

11. Kết luận

Dung lượng model là một vấn đề vận hành thực tế. Bệnh viện cần theo dõi ổ cứng, biết thư mục lưu model, kiểm tra model lớn, xóa model không dùng, đặt cảnh báo dung lượng và có chính sách backup hợp lý. Quản lý dung lượng tốt giúp hệ thống AI local tránh lỗi do đầy ổ và duy trì ổn định lâu dài.