Bài 4. Xóa model không sử dụng

1. Đặt vấn đề

Trong quá trình thử nghiệm AI local, bệnh viện có thể tải nhiều model khác nhau để so sánh. Sau một thời gian, nhiều model không còn dùng nhưng vẫn chiếm dung lượng ổ cứng. Một số model có thể chiếm vài GB, model lớn có thể chiếm hàng chục GB. Nếu không dọn dẹp, phân vùng lưu model có thể đầy, gây lỗi khi tải model mới, lỗi khi cập nhật hoặc ảnh hưởng đến dịch vụ.

Vì vậy, xóa model không sử dụng là một phần quan trọng của quản trị vận hành Ollama. Lệnh thường dùng là ollama rm.

2. Lệnh ollama rm

Cú pháp:

ollama rm ten_model:tag

Ví dụ:

ollama rm gemma3:4b

Lệnh này xóa model khỏi hệ thống local. Sau khi xóa, nếu muốn dùng lại cần tải lại bằng ollama pull.

3. Không xóa model khi chưa kiểm tra ứng dụng đang dùng

Trước khi xóa model, cần kiểm tra:

• Model có đang được chatbot dùng không?
• API trung gian có cấu hình gọi model này không?
• Có Modelfile tùy biến phụ thuộc model này không?
• Có script nào đang gọi model này không?
• Model có đang dùng cho embedding không?
• Có người dùng nào đang test không?
• Model có cần backup không?

Không nên xóa model chỉ vì thấy tên lạ trong ollama list.

4. Quy trình xóa model an toàn

Một quy trình đề xuất:

1. Chạy ollama list.
2. Đối chiếu danh mục model.
3. Xác định model không dùng.
4. Kiểm tra cấu hình chatbot/API/RAG.
5. Thông báo cho nhóm liên quan nếu cần.
6. Xóa bằng ollama rm.
7. Kiểm tra lại ollama list.
8. Kiểm tra dung lượng df -h.
9. Cập nhật nhật ký model.

Quy trình này giúp tránh xóa nhầm.

5. Kiểm tra model đang chạy trước khi xóa

Dùng:

ollama ps

Nếu model đang được nạp, nên thận trọng. Có thể model đang phục vụ request hoặc đang được giữ trong bộ nhớ. Nếu xóa model đang được dùng, ứng dụng có thể lỗi ở lần gọi tiếp theo.

Trong hệ thống chính thức, nên dừng ứng dụng hoặc chuyển model trước khi xóa model chính.

6. Xóa model thử nghiệm

Model thử nghiệm nên có thời hạn. Ví dụ:

• Tải model để test trong 2 tuần.
• Nếu không đạt, xóa.
• Nếu đạt, chuyển sang trạng thái “ứng viên”.
• Nếu đưa vào chính thức, ghi vào danh mục.

Không nên để model thử nghiệm tồn tại vô thời hạn.

7. Xóa model để giải phóng dung lượng

Khi ổ cứng gần đầy, cần xem model nào chiếm nhiều dung lượng. Dùng:

ollama list

và kiểm tra thư mục model:

du -sh /mnt/data/ai/models

Sau khi xóa:

df -h

Cần lưu ý rằng dung lượng có thể không giảm như kỳ vọng nếu có layer dùng chung giữa model hoặc nếu file vẫn bị tiến trình giữ. Nếu nghi ngờ, kiểm tra service và tiến trình.

8. Có cần backup trước khi xóa không?

Với model phổ biến có thể tải lại, thường không cần backup. Nhưng nên backup hoặc lưu lại:

• Modelfile tùy biến.
• Cấu hình model chính thức.
• Danh sách model.
• Kết quả benchmark.
• Model đặc biệt khó tải lại nếu có.

Nếu model dùng trong hệ thống chính thức và quá trình tải lại mất nhiều thời gian, có thể cân nhắc backup.

9. Xóa model tùy biến

Nếu model được tạo bằng Modelfile, cần lưu Modelfile trước khi xóa. Model tùy biến có thể tạo lại nếu còn Modelfile và model nền. Nếu mất Modelfile, khó tái tạo đúng hành vi.

Do đó, trước khi xóa model tùy biến, cần kiểm tra:

• Modelfile còn không?
• Model nền còn không?
• Có ứng dụng đang dùng không?
• Có cần lưu lịch sử cấu hình không?

10. Sai lầm thường gặp

10.1. Xóa nhầm model đang dùng cho API

Ứng dụng sẽ lỗi khi gọi model.

10.2. Xóa model nền của model tùy biến

Có thể ảnh hưởng khả năng tạo lại model tùy biến.

10.3. Không cập nhật tài liệu sau khi xóa

Danh mục model không còn chính xác.

10.4. Xóa vì đầy ổ nhưng không xử lý nguyên nhân

Nếu vẫn tiếp tục tải model tùy tiện, ổ sẽ đầy lại.

11. Kết luận

Xóa model không sử dụng giúp tiết kiệm dung lượng và giữ hệ thống Ollama gọn gàng. Tuy nhiên, trong bệnh viện, xóa model cần có kiểm soát. Trước khi xóa phải kiểm tra ứng dụng đang dùng, trạng thái model, Modelfile liên quan và danh mục quản lý. Sau khi xóa cần cập nhật tài liệu vận hành. Quản lý model tốt giúp hệ thống AI local ổn định và dễ bảo trì hơn.