Bài 3. Liệt kê model đã cài đặt

1. Đặt vấn đề

Khi hệ thống AI local bắt đầu vận hành, số lượng model có thể tăng dần. Ban đầu bệnh viện có thể chỉ tải một model nhỏ để thử nghiệm. Sau đó, phòng CNTT có thể tải thêm model 7B, 8B, 14B, model embedding, model thử nghiệm cho quản lý chất lượng, model cho lập trình hoặc model tùy biến bằng Modelfile. Nếu không quản lý, danh sách model sẽ trở nên rối, chiếm nhiều dung lượng và khó biết model nào đang được sử dụng.

Vì vậy, việc liệt kê model đã cài đặt là thao tác quản trị cơ bản. Trong Ollama, lệnh chính là ollama list.

2. Lệnh ollama list

Cú pháp:

ollama list

Lệnh này hiển thị danh sách model đã có trên máy chủ. Thông tin thường gồm:

• Tên model.
• ID hoặc digest.
• Dung lượng.
• Thời điểm cập nhật hoặc tải.
• Tag.

Đây là lệnh đầu tiên nên dùng khi muốn biết máy chủ hiện có những model nào.

3. Vì sao cần liệt kê model định kỳ?

Liệt kê model định kỳ giúp:

• Biết model nào đang có trên máy chủ.
• Kiểm tra dung lượng model.
• Phát hiện model tải nhầm.
• Phát hiện model thử nghiệm chưa xóa.
• Biết model nào cần cập nhật.
• Biết model nào có thể xóa để giải phóng dung lượng.
• Đối chiếu với danh mục model chính thức.
• Hỗ trợ backup và tài liệu hóa.

Trong bệnh viện, đây là một phần của quản trị vận hành hệ thống AI local.

4. Phân loại model sau khi liệt kê

Sau khi chạy ollama list, nên phân loại model thành các nhóm:

4.1. Model chính thức

Đây là model đang được dùng trong chatbot, API, RAG hoặc hệ thống nội bộ.

4.2. Model thử nghiệm

Model đang được đánh giá, chưa đưa vào sử dụng chính thức.

4.3. Model cũ

Model đã từng dùng nhưng hiện không còn được ưu tiên.

4.4. Model embedding

Model dùng để tạo vector, không dùng cho hội thoại thông thường.

4.5. Model tùy biến

Model được tạo bằng Modelfile cho từng phòng ban hoặc vai trò.

4.6. Model cần xóa

Model không còn dùng, chiếm dung lượng.

Nếu không phân loại, danh sách model chỉ là thông tin kỹ thuật, chưa trở thành dữ liệu quản trị.

5. Ghi danh mục model chính thức

Bệnh viện nên có một file hoặc bảng quản lý model. Ví dụ:

Danh mục này nên được cập nhật khi tải, xóa hoặc thay model.

6. Kiểm tra model đang chạy

ollama list cho biết model đã cài. Để biết model nào đang được nạp hoặc đang chạy, dùng:

ollama ps

Hai lệnh này khác nhau:

• ollama list: model có trên ổ cứng.
• ollama ps: model đang được nạp/chạy.

Trong vận hành, cần dùng cả hai.

7. Kiểm tra dung lượng thư mục model

Ngoài ollama list, nên kiểm tra dung lượng thực tế:

du -sh /mnt/data/ai/models

hoặc thư mục model thực tế của hệ thống.

Cũng kiểm tra phân vùng:

df -h

Một số model hoặc layer có thể chiếm dung lượng lớn. Kiểm tra định kỳ giúp tránh đầy ổ.

8. Liệt kê model trong quy trình bảo trì

Trong kế hoạch bảo trì định kỳ, nên có bước:

1. Chạy ollama list.
2. Đối chiếu với danh mục model.
3. Xác định model không dùng.
4. Kiểm tra dung lượng.
5. Đề xuất xóa hoặc giữ.
6. Cập nhật tài liệu vận hành.

Tần suất có thể hằng tháng hoặc sau mỗi đợt thử nghiệm model.

9. Sai lầm thường gặp

9.1. Không biết model nào đang dùng

Khi có nhiều model, người quản trị có thể không biết chatbot đang gọi model nào. Cần kiểm tra cấu hình ứng dụng, không chỉ ollama list.

9.2. Xóa nhầm model chính thức

Nếu không có danh mục, có thể xóa model đang được API sử dụng.

9.3. Để quá nhiều model thử nghiệm

Model thử nghiệm chiếm dung lượng và làm rối vận hành.

9.4. Không ghi rõ tag

Cùng một model có thể có nhiều tag. Nếu không ghi rõ, khó kiểm soát phiên bản.

10. Kết luận

ollama list là lệnh đơn giản nhưng rất quan trọng trong quản trị model. Bệnh viện nên dùng lệnh này định kỳ để biết model nào đã cài, dung lượng bao nhiêu và trạng thái sử dụng ra sao. Quan trọng hơn, cần có danh mục quản lý model chính thức để tránh rối loạn, đầy ổ cứng hoặc xóa nhầm model đang dùng.