Bài 9. Cấu hình thư mục lưu model

1. Đặt vấn đề

Model AI local thường có dung lượng lớn. Một model có thể chiếm vài GB đến hàng chục GB. Nếu tải nhiều model, dung lượng có thể tăng rất nhanh. Nếu để thư mục model mặc định nằm trong phân vùng hệ thống nhỏ, máy chủ có thể đầy root, gây lỗi Ollama, lỗi hệ điều hành hoặc dừng dịch vụ.

Trong bệnh viện, nơi máy chủ có thể có nhiều ổ SSD/HDD khác nhau, cần cấu hình thư mục lưu model ngay từ đầu. Đây là bước quản trị dung lượng rất quan trọng.

2. Vì sao cần đổi thư mục lưu model?

Có nhiều lý do:

Phân vùng root thường không nên chứa dữ liệu lớn.
Model chiếm nhiều dung lượng.
Cần lưu model trên SSD/NVMe để tải nhanh.
Cần tổ chức model cùng hệ thống AI.
Dễ backup hoặc di chuyển.
Dễ giám sát dung lượng.
Tránh làm đầy hệ điều hành.

Nếu không cấu hình, model có thể nằm ở vị trí mặc định của Ollama. Vị trí này tùy hệ thống và user chạy service. Người quản trị cần biết chính xác model đang nằm ở đâu.

3. Kiểm tra thư mục model hiện tại

Có thể kiểm tra service:

systemctl cat ollama

Nếu chưa cấu hình OLLAMA_MODELS, Ollama dùng mặc định.

Có thể tìm dung lượng thư mục liên quan:

sudo du -sh /usr/share/ollama 2>/dev/null
sudo du -sh /var/lib/ollama 2>/dev/null

Tùy phiên bản và cách cài, vị trí có thể khác. Cần kiểm tra thực tế.

4. Chọn vị trí lưu model

Nên chọn ổ SSD/NVMe dung lượng đủ lớn. Ví dụ:

/mnt/data/ai/models

Nguyên tắc:

Nằm trên phân vùng đủ dung lượng.
Tốc độ đọc tốt.
Được backup nếu cần.
Quyền truy cập rõ ràng.
Không nằm chung với thư mục tạm dễ xóa.
Không nằm trong phân vùng root nhỏ.

Nếu model rất lớn và ít dùng, có thể lưu bản backup ở HDD, nhưng model đang chạy nên ở SSD nếu có điều kiện.

5. Tạo thư mục model

Ví dụ:

sudo mkdir -p /mnt/data/ai/models

Kiểm tra user chạy Ollama:

systemctl cat ollama

Sau đó cấp quyền phù hợp. Ví dụ nếu user là ollama:

sudo chown -R ollama:ollama /mnt/data/ai/models

Nếu user khác, cần chỉnh theo thực tế.

6. Cấu hình OLLAMA_MODELS

Dùng override:

sudo systemctl edit ollama

Thêm:

[Service]
Environment="OLLAMA_MODELS=/mnt/data/ai/models"

Sau đó:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Kiểm tra:

systemctl status ollama
journalctl -u ollama -n 50 --no-pager

7. Di chuyển model cũ

Nếu đã tải model trước đó, cần di chuyển hoặc tải lại. Cách an toàn nhất là xác định thư mục cũ, dừng service, copy dữ liệu sang thư mục mới, cấp quyền, cấu hình OLLAMA_MODELS, restart và kiểm tra.

Ví dụ quy trình khái niệm:

sudo systemctl stop ollama
sudo rsync -aH /duong_dan_model_cu/ /mnt/data/ai/models/
sudo chown -R ollama:ollama /mnt/data/ai/models
sudo systemctl start ollama

Cần thay /duong_dan_model_cu/ bằng đường dẫn thực tế. Không nên xóa thư mục cũ ngay trước khi kiểm tra thành công.

8. Kiểm tra sau khi đổi thư mục

Sau khi restart, kiểm tra:

ollama list

Nếu danh sách model vẫn hiện, cấu hình đúng. Nếu không, có thể Ollama đang nhìn vào thư mục trống hoặc quyền sai.

Tải thử model nhỏ:

ollama pull model_name

Kiểm tra dung lượng thư mục:

du -sh /mnt/data/ai/models

9. Quản lý dung lượng model

Cần định kỳ kiểm tra:

ollama list

du -sh /mnt/data/ai/models

df -h /mnt/data

Xóa model không dùng:

ollama rm model_name

Trước khi xóa, cần chắc chắn không có ứng dụng nào đang dùng model đó.

10. Backup model

Model có thể tải lại từ Internet, nhưng nếu mạng chậm hoặc model lớn, backup vẫn hữu ích. Tuy nhiên, tài liệu, metadata, Modelfile và FAISS index thường quan trọng hơn model.

Có thể backup:

Modelfile tùy biến.
Danh sách model.
Model chính thức đang dùng.
Cấu hình OLLAMA_MODELS.

Không nhất thiết backup tất cả model thử nghiệm.

11. Kết luận

Cấu hình thư mục lưu model là bước quan trọng để vận hành Ollama ổn định. Bệnh viện nên đặt model ở phân vùng đủ dung lượng, ưu tiên SSD/NVMe, cấu hình bằng OLLAMA_MODELS, cấp quyền đúng và kiểm tra sau khi đổi. Quản lý dung lượng model cần được đưa vào quy trình vận hành định kỳ để tránh đầy ổ và lỗi dịch vụ.

Đăng nhập để gửi ý kiến