Bài 5. Các nhóm model phổ biến: Llama, Qwen, Mistral, Gemma, Phi

1. Đặt vấn đề

Khi dùng Ollama, người dùng sẽ gặp nhiều nhóm model phổ biến như Llama, Qwen, Mistral, Gemma và Phi. Đây là các họ model có nhiều phiên bản, kích thước và biến thể khác nhau. Mỗi nhóm có thế mạnh riêng, phù hợp với những tác vụ và cấu hình phần cứng khác nhau.

Đối với bệnh viện, việc biết tên các nhóm model không đủ. Cần hiểu cách tiếp cận: model nào phù hợp để viết tiếng Việt, model nào phù hợp chạy nhẹ, model nào phù hợp lập trình, model nào phù hợp tác vụ tổng quát, model nào có thể dùng làm model chính trong chatbot nội bộ, và model nào chỉ nên dùng thử nghiệm.

Do hệ sinh thái model thay đổi nhanh, nội dung dưới đây nên được hiểu như định hướng lựa chọn, không phải danh sách cố định.

2. Llama

Llama là một trong những họ model phổ biến trong hệ sinh thái AI local. Ưu điểm của nhóm này là cộng đồng lớn, nhiều biến thể, nhiều phiên bản lượng tử hóa và được hỗ trợ rộng rãi trong các công cụ local.

Trong bệnh viện, Llama có thể phù hợp với:

• Hỏi đáp tổng quát.
• Tóm tắt tài liệu.
• Viết văn bản.
• RAG nội bộ.
• Trợ lý hành chính.
• Trợ lý CNTT.
• Thử nghiệm AI local.

Cần kiểm tra khả năng tiếng Việt tùy phiên bản. Một số model Llama mạnh về tiếng Anh và tác vụ tổng quát, nhưng tiếng Việt hành chính bệnh viện cần test thực tế.

3. Qwen

Qwen là nhóm model đáng quan tâm trong triển khai local, đặc biệt vì nhiều phiên bản có khả năng đa ngôn ngữ và xử lý tiếng Việt tương đối tốt. Qwen cũng thường được đánh giá tốt ở các tác vụ lập luận, viết văn bản và coding tùy phiên bản.

Trong bệnh viện, Qwen có thể phù hợp với:

• Viết văn bản tiếng Việt.
• Hỏi đáp song ngữ.
• Tóm tắt tài liệu.
• Hỗ trợ lập trình.
• Hỗ trợ CNTT.
• RAG nội bộ.
• Phân tích văn bản quản lý.
• Quản lý chất lượng.

Với GPU 16GB VRAM, các phiên bản 7B/8B hoặc 14B lượng tử hóa của Qwen thường là nhóm đáng thử nghiệm.

4. Mistral

Mistral là nhóm model nổi bật trong hệ sinh thái open-weight. Một số model Mistral có hiệu năng tốt so với kích thước và được cộng đồng sử dụng rộng rãi. Thế mạnh thường nằm ở tác vụ tiếng Anh, suy luận tổng quát và hiệu quả.

Trong bệnh viện, Mistral có thể dùng cho:

• Tác vụ tiếng Anh.
• Tóm tắt tài liệu quốc tế.
• Hỗ trợ kỹ thuật.
• Hỏi đáp tổng quát.
• RAG nếu kiểm tra thấy phù hợp.
• Soạn thảo nội dung song ngữ trong một số trường hợp.

Cần kiểm tra kỹ tiếng Việt. Nếu tiếng Việt chưa tốt bằng các lựa chọn khác, Mistral có thể dùng cho tác vụ tiếng Anh hoặc kỹ thuật hơn là văn bản hành chính tiếng Việt.

5. Gemma

Gemma là nhóm model tương đối nhẹ và dễ tiếp cận, có nhiều phiên bản phù hợp chạy local. Một số phiên bản nhỏ có thể phù hợp với máy chủ cấu hình vừa phải hoặc tác vụ nhanh.

Trong bệnh viện, Gemma có thể dùng cho:

• Thử nghiệm AI local.
• Tác vụ nhẹ.
• Soạn thảo cơ bản.
• Chatbot nội bộ đơn giản.
• Hỗ trợ học và kiểm tra pipeline.
• Một số tác vụ tiếng Việt nếu chất lượng đáp ứng.

Với model nhỏ, cần chấp nhận giới hạn về lập luận và văn bản dài. Nên kiểm tra kỹ trước khi dùng cho tác vụ chính thức.

6. Phi

Phi là nhóm model nhỏ, tối ưu hiệu quả, phù hợp với tác vụ nhẹ và môi trường tài nguyên hạn chế. Ưu điểm thường là nhỏ, nhanh, dễ chạy. Hạn chế là khả năng xử lý văn bản dài và tác vụ phức tạp có thể không bằng model lớn hơn.

Trong bệnh viện, Phi có thể phù hợp với:

• Tác vụ thử nghiệm.
• Phân loại đơn giản.
• Hỗ trợ kỹ thuật nhẹ.
• Chatbot nhỏ.
• Tác vụ nhanh trên phần cứng hạn chế.

Không nên kỳ vọng Phi thay thế model lớn trong viết báo cáo dài, phân tích quản lý chất lượng sâu hoặc RAG phức tạp nếu chưa test kỹ.

7. Model embedding

Ngoài các LLM, bệnh viện cần quan tâm model embedding. Một số nhóm embedding phổ biến có thể được dùng để tạo vector cho tài liệu. Tiêu chí quan trọng là khả năng tiếng Việt, tốc độ, chất lượng truy xuất và kích thước vector.

Embedding model cần được đánh giá bằng câu hỏi tài liệu thật. Không nên chọn embedding chỉ vì LLM cùng họ tốt.

8. Model reranker

Reranker giúp cải thiện chất lượng truy xuất. Một số model reranker chuyên dụng có thể dùng trong pipeline RAG. Chúng không sinh văn bản dài mà đánh giá mức độ liên quan giữa câu hỏi và đoạn tài liệu.

Với bệnh viện có kho tài liệu lớn, reranker có thể làm tăng độ chính xác đáng kể, nhưng cũng tăng thời gian xử lý. Cần thử nghiệm.

9. Không chọn model theo tên thương hiệu

Các họ model nổi tiếng đều có phiên bản tốt và phiên bản chưa phù hợp. Cần đánh giá từng model cụ thể:

• Kích thước.
• Quantization.
• Khả năng tiếng Việt.
• Tốc độ.
• Tác vụ.
• RAG.
• Giấy phép.
• Phần cứng.

Không nên kết luận “Qwen luôn tốt hơn Llama” hoặc “model X luôn tốt nhất”. Kết quả phụ thuộc phiên bản và bối cảnh.

10. Kết luận

Llama, Qwen, Mistral, Gemma và Phi là các nhóm model phổ biến khi triển khai AI local. Bệnh viện nên xem chúng như các ứng viên để đánh giá, không phải câu trả lời cố định. Qwen thường đáng thử cho tiếng Việt và song ngữ; Llama có hệ sinh thái rộng; Mistral mạnh ở nhiều tác vụ tổng quát; Gemma và Phi phù hợp hơn với tác vụ nhẹ hoặc thử nghiệm tùy phiên bản.

Lựa chọn cuối cùng phải dựa trên kiểm thử thực tế bằng dữ liệu và tác vụ bệnh viện.