Bài 10. Cấu hình truy cập Ollama trong mạng LAN bệnh viện

1. Đặt vấn đề

Sau khi Ollama chạy ổn trên máy chủ, bệnh viện có thể muốn cho các máy khác trong mạng LAN truy cập để tích hợp chatbot, website nội bộ hoặc API. Đây là bước quan trọng nhưng cũng có rủi ro. Nếu mở Ollama không kiểm soát, bất kỳ máy nào trong LAN, hoặc nguy hiểm hơn là từ Internet nếu firewall sai, có thể gọi model, sử dụng tài nguyên GPU hoặc gửi dữ liệu nhạy cảm.

Vì vậy, cấu hình truy cập LAN cần làm theo nguyên tắc an toàn: chỉ mở khi cần, chỉ mở cho đối tượng được phép, ưu tiên đi qua API trung gian, có firewall và không mở trực tiếp ra Internet.

2. Mặc định nên để localhost

Giai đoạn đầu, nên để Ollama chỉ listen trên localhost:

127.0.0.1:11434

Khi đó chỉ máy chủ AI gọi được Ollama. Đây là cấu hình an toàn hơn. Các ứng dụng như API trung gian hoặc chatbot có thể chạy cùng máy chủ và gọi qua localhost.

Nếu cần các máy khác gọi, cân nhắc chạy API trung gian trên máy chủ AI hoặc reverse proxy có xác thực, thay vì mở Ollama trực tiếp.

3. Khi nào cần mở LAN?

Có thể cần mở LAN khi:

• Website nội bộ chạy trên máy chủ khác cần gọi Ollama.
• Drupal chạy trên máy khác.
• Hệ thống RAG nằm trên server khác.
• Một API gateway nội bộ gọi Ollama.
• Nhóm CNTT cần test từ máy trạm.

Tuy nhiên, mở LAN không có nghĩa là mở cho toàn bệnh viện. Nên giới hạn IP cụ thể.

4. Cấu hình OLLAMA_HOST

Để Ollama listen trên mọi interface, có thể cấu hình:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Thực hiện qua:

sudo systemctl edit ollama

Sau đó:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Kiểm tra:

ss -tulpn | grep 11434

Nếu thấy 0.0.0.0:11434, Ollama đang listen trên tất cả interface.

Nhưng trong bệnh viện, cấu hình này chỉ nên dùng khi firewall đã giới hạn truy cập.

5. Cấu hình firewall

Nếu dùng UFW, có thể cho phép IP cụ thể truy cập port 11434:

sudo ufw allow from 192.168.1.10 to any port 11434 proto tcp

Chỉ ví dụ, cần thay IP theo thực tế.

Không nên dùng:

sudo ufw allow 11434

nếu không muốn mở cho toàn mạng.

Kiểm tra trạng thái:

sudo ufw status verbose

Nếu bệnh viện dùng firewall trung tâm, cần cấu hình ở cả máy chủ và thiết bị mạng.

6. Kiểm tra từ máy trong LAN

Từ máy được phép truy cập:

curl http://IP_MAY_CHU_AI:11434/api/tags

Nếu trả về danh sách model, kết nối hoạt động.

Nếu không được, kiểm tra:

• IP máy chủ.
• Port Ollama.
• OLLAMA_HOST.
• Firewall máy chủ.
• Firewall mạng.
• Routing.
• Service Ollama.
• Có đang listen đúng interface không.

7. Không mở Ollama trực tiếp ra Internet

Đây là nguyên tắc rất quan trọng. Không nên NAT port 11434 ra Internet. Không nên để domain công khai trỏ trực tiếp vào Ollama. Ollama API không nên là endpoint công khai cho người dùng.

Nếu cần truy cập từ ngoài bệnh viện:

• Dùng VPN.
• Dùng reverse proxy có xác thực.
• Dùng API trung gian.
• Dùng HTTPS.
• Dùng token.
• Giới hạn IP.
• Ghi log.
• Rate limit.

Mở trực tiếp Ollama ra Internet có thể gây lạm dụng GPU, rò rỉ dữ liệu và tấn công hệ thống.

8. API trung gian là lựa chọn tốt hơn

Kiến trúc khuyến nghị:

Người dùng/Ứng dụng → API trung gian → Ollama localhost.

API trung gian xử lý:

• Xác thực.
• Phân quyền.
• Log.
• RAG.
• Kiểm soát prompt.
• Kiểm soát dữ liệu nhạy cảm.
• Giới hạn request.
• Kiểm soát đầu ra.

Ollama chỉ cần listen localhost. Đây là cấu hình an toàn và dễ kiểm soát hơn.

9. Reverse proxy

Nếu cần reverse proxy, có thể dùng Nginx. Tuy nhiên, không nên chỉ proxy trần vào Ollama mà không xác thực. Reverse proxy cần kết hợp:

• HTTPS nếu truy cập qua mạng không tin cậy.
• Basic auth hoặc token.
• IP allowlist.
• Rate limit.
• Log.
• Timeout phù hợp.
• Giới hạn body size nếu cần.

Trong bệnh viện, reverse proxy nên là lớp bảo vệ, không phải chỉ là cầu nối kỹ thuật.

10. Ghi lại cấu hình truy cập

Cần tài liệu hóa:

• Ollama listen ở đâu.
• Port nào.
• IP nào được phép.
• Firewall rule.
• Ứng dụng nào gọi Ollama.
• Có API trung gian không.
• Có reverse proxy không.
• Ai chịu trách nhiệm vận hành.
• Ngày thay đổi cấu hình.

Khi có sự cố bảo mật hoặc lỗi kết nối, tài liệu này rất quan trọng.

11. Kết luận

Cấu hình truy cập Ollama trong mạng LAN cần làm thận trọng. Mặc định nên để localhost. Nếu cần mở LAN, phải giới hạn bằng firewall và chỉ cho các máy được phép. Không mở Ollama trực tiếp ra Internet. Trong triển khai bệnh viện, kiến trúc tốt nhất là để Ollama phía sau API trung gian có xác thực, phân quyền, log và kiểm soát dữ liệu.