Bài 2. Mô tả cấu hình máy chủ AI local

1. Đặt vấn đề

Máy chủ AI local là nền tảng hạ tầng để chạy model, xử lý dữ liệu, tạo embedding, lưu FAISS, vận hành API và phục vụ chatbot nội bộ. Cấu hình máy chủ quyết định giới hạn thực tế của hệ thống: chạy được model cỡ nào, phục vụ bao nhiêu người dùng, lưu được bao nhiêu dữ liệu, xử lý tài liệu nhanh hay chậm và backup có đủ an toàn không.

Khi mô tả cấu hình máy chủ AI local, không chỉ liệt kê phần cứng. Cần giải thích vai trò của từng thành phần trong bài toán AI bệnh viện.

2. Cấu hình phần cứng đề xuất

Một cấu hình máy chủ AI local có thể gồm:

• CPU nhiều nhân.
• GPU NVIDIA có VRAM đủ lớn.
• RAM lớn.
• SSD/NVMe cho hệ điều hành, model, index, database.
• HDD dung lượng lớn cho tài liệu, backup, archive.
• UPS đủ công suất.
• Mạng LAN ổn định.
• Case/server có tản nhiệt tốt.
• Ubuntu Server 24.04 LTS hoặc phiên bản ổn định tương đương.

Với cấu hình có GPU RTX 5060 Ti 16GB, RAM lớn và HDD 12TB x 2, bệnh viện có thể triển khai tốt nhiều tác vụ AI local mức thực tế.

3. GPU

GPU là thành phần quan trọng để chạy LLM nhanh. VRAM 16GB phù hợp với nhiều model nhỏ và trung bình, đặc biệt các model 4B, 7B, 8B và một số model lớn hơn ở mức quantized tùy cấu hình.

GPU dùng cho:

• Sinh câu trả lời chatbot.
• Viết báo cáo.
• Tóm tắt tài liệu.
• RAG generation.
• Một số tác vụ embedding nếu cần.
• Benchmark model.

Không nên kỳ vọng GPU 16GB chạy mượt mọi model lớn. Cần chọn model phù hợp.

4. CPU

CPU vẫn rất quan trọng. Trong hệ thống AI local bệnh viện, CPU dùng cho:

• Chạy Ubuntu Server.
• API trung gian.
• Nginx.
• Docker nếu có.
• Xử lý file.
• Trích xuất text.
• Chunking.
• FAISS CPU.
• Metadata database.
• Script backup.
• Giám sát hệ thống.
• Một số inference CPU khi cần.

CPU nhiều nhân giúp xử lý nền tốt, đặc biệt khi bệnh viện có nhiều tài liệu.

5. RAM

RAM lớn là lợi thế lớn. RAM dùng cho:

• Chạy nhiều service.
• FAISS index.
• Metadata.
• Cache.
• Xử lý tài liệu lớn.
• Embedding batch.
• CPU inference.
• Docker container.
• Tránh swap.

Với hệ thống RAG và kho tài liệu bệnh viện, RAM lớn giúp truy xuất và xử lý ổn định hơn.

6. SSD/NVMe

SSD/NVMe nên dùng cho dữ liệu nóng:

• Hệ điều hành.
• Ollama model thường dùng.
• FAISS index.
• Metadata database.
• API code.
• Cache.
• Log quan trọng.
• Docker volume cần tốc độ.
• File tạm xử lý tài liệu.

Đặt model và FAISS trên SSD/NVMe giúp giảm thời gian load và truy xuất.

7. HDD dung lượng lớn

HDD phù hợp cho:

• Tài liệu gốc.
• File upload đã lưu.
• Backup.
• Archive.
• Log cũ.
• Bản index cũ.
• Dataset xử lý nền.
• Dữ liệu ít truy cập.

Với HDD 12TB x 2, có thể thiết kế theo RAID1 để tăng an toàn hoặc phân tách lưu trữ tùy mục tiêu. Tuy nhiên, HDD không nên là nơi duy nhất chứa dữ liệu nóng cần tốc độ cao.

8. UPS

UPS là thành phần quan trọng trong bệnh viện. Vai trò:

• Bảo vệ khi mất điện.
• Cho thời gian shutdown an toàn.
• Giảm nguy cơ hỏng index/database.
• Giảm nguy cơ mất dữ liệu khi đang ghi.
• Bảo vệ phần cứng.

UPS cần đủ công suất thực tế cho máy chủ AI, đặc biệt khi GPU tải cao.

9. Hệ điều hành

Ubuntu Server 24.04 LTS là lựa chọn phù hợp vì:

• Ổn định.
• Hỗ trợ tốt NVIDIA driver.
• Dễ cài Ollama, Docker, Nginx, Python.
• Phù hợp máy chủ.
• Cộng đồng lớn.
• Dễ tự động hóa bằng script.

Cần cập nhật bảo mật định kỳ và tài liệu hóa cấu hình.

10. Thành phần phần mềm chính

Máy chủ có thể cài:

• Ollama.
• NVIDIA driver.
• CUDA runtime nếu cần.
• Python environment.
• FAISS.
• API trung gian.
• Nginx.
• Docker nếu dùng.
• Database metadata.
• Script backup.
• Công cụ giám sát: nvidia-smi, htop, nvtop.
• Công cụ xử lý tài liệu.
• Git nội bộ cho cấu hình/script.

11. Nguyên tắc mô tả cấu hình

Khi lập hồ sơ cấu hình, cần ghi:

• Tên máy chủ.
• IP.
• CPU.
• GPU.
• RAM.
• Ổ cứng.
• RAID/mount point.
• OS.
• Driver GPU.
• Ollama version.
• Model đang dùng.
• Dịch vụ đang chạy.
• Thư mục dữ liệu.
• Lịch backup.
• Người phụ trách.

Đây là tài liệu vận hành bắt buộc.

12. Kết luận

Máy chủ AI local trong bệnh viện cần được mô tả không chỉ theo thông số phần cứng, mà theo vai trò vận hành. GPU phục vụ sinh câu trả lời, CPU xử lý nền và dịch vụ, RAM hỗ trợ RAG và nhiều tiến trình, SSD/NVMe phục vụ dữ liệu nóng, HDD phục vụ lưu trữ lớn và backup, UPS bảo vệ an toàn điện. Cấu hình tốt là cấu hình được tổ chức đúng, giám sát đúng và vận hành đúng.