Bài 2. Nhóm chỉ số về sử dụng hệ thống

1. Đặt vấn đề

Nhóm chỉ số đầu tiên cần theo dõi là mức độ sử dụng hệ thống. Nếu không ai dùng, hệ thống dù mạnh cũng không tạo giá trị. Nếu nhiều người dùng nhưng dùng sai mục đích, hệ thống có thể gây rủi ro. Nếu chỉ một vài người dùng nhiều còn phần lớn không dùng, cần xem lại đào tạo, giao diện hoặc tính phù hợp với công việc.

Chỉ số sử dụng giúp bệnh viện hiểu AI local đang được tiếp nhận như thế nào.

2. Số lượt truy cập hệ thống

Chỉ số cơ bản:

• Số lượt truy cập chatbot.
• Số lượt mở giao diện AI.
• Số lượt gọi API.
• Số phiên làm việc.
• Số người dùng duy nhất.
• Số khoa/phòng có sử dụng.

Chỉ số này cho biết hệ thống có được quan tâm và sử dụng hay không.

3. Số câu hỏi hoặc request

Cần theo dõi:

• Tổng số câu hỏi/ngày.
• Tổng số câu hỏi/tuần.
• Tổng số câu hỏi/tháng.
• Số câu hỏi theo chatbot.
• Số câu hỏi theo phòng/khoa.
• Số câu hỏi theo nhóm tác vụ.

Ví dụ:

• Chatbot QLCL có 300 câu hỏi/tháng.
• Chatbot KHTH có 120 yêu cầu soạn thảo/tháng.
• Chatbot CNTT có 80 câu hỏi kỹ thuật/tháng.

4. Người dùng hoạt động thường xuyên

Không chỉ đếm tài khoản được cấp. Cần biết:

• Daily active users.
• Weekly active users.
• Monthly active users.
• Tỷ lệ người dùng quay lại.
• Số người dùng chỉ thử một lần rồi bỏ.
• Nhóm người dùng sử dụng đều.

Nếu người dùng không quay lại, có thể hệ thống chưa hữu ích hoặc chưa dễ dùng.

5. Tỷ lệ sử dụng theo đơn vị

Cần xem đơn vị nào dùng nhiều:

• Phòng Quản lý chất lượng.
• Phòng Kế hoạch tổng hợp.
• Phòng Điều dưỡng.
• Phòng CNTT.
• CSKH.
• Khoa lâm sàng.
• Khoa cận lâm sàng.
• Lãnh đạo khoa/phòng.

So sánh này giúp xác định nơi có nhu cầu thật và nơi cần đào tạo thêm.

6. Tỷ lệ sử dụng theo chức năng

Có thể phân loại request:

• Tra cứu quy trình.
• Tìm biểu mẫu.
• Tóm tắt tài liệu.
• Viết kế hoạch.
• Viết báo cáo.
• Tạo bảng kiểm.
• Phân tích nguyên nhân.
• Hỏi CNTT.
• Tạo nội dung truyền thông.
• Phân tích phản ánh.
• Hỏi văn bản pháp luật.

Chức năng nào được dùng nhiều nên được ưu tiên cải tiến.

7. Thời điểm sử dụng

Cần theo dõi:

• Giờ cao điểm.
• Ngày trong tuần.
• Tháng cao điểm.
• Giai đoạn tự đánh giá chất lượng.
• Giai đoạn tổng kết báo cáo.
• Giai đoạn đào tạo.

Dữ liệu này giúp tối ưu queue, tài nguyên GPU và lịch bảo trì.

8. Tỷ lệ request thành công

Không chỉ có lượt dùng, cần đo:

• Request thành công.
• Request lỗi.
• Request timeout.
• Request bị chặn do quyền.
• Request bị chặn do dữ liệu nhạy cảm.
• Request bị hủy.
• Request quá dài.

Nếu tỷ lệ lỗi cao, người dùng sẽ mất niềm tin.

9. Tỷ lệ sử dụng RAG

Với chatbot tri thức, cần biết:

• Bao nhiêu câu hỏi dùng RAG.
• Bao nhiêu câu hỏi không tìm thấy nguồn.
• Bao nhiêu câu hỏi có nguồn phù hợp.
• Nguồn nào được truy xuất nhiều.
• Tài liệu nào không được truy xuất.
• Chủ đề nào thiếu tài liệu.

Chỉ số này giúp cải thiện kho tri thức.

10. Số lượt feedback

Cần theo dõi:

• Số lượt đánh giá hữu ích.
• Số lượt báo sai.
• Số lượt báo thiếu nguồn.
• Số lượt báo dữ liệu cũ.
• Số lượt góp ý chức năng.
• Tỷ lệ feedback trên tổng câu hỏi.

Nếu ít feedback, có thể do giao diện chưa khuyến khích người dùng phản hồi.

11. Cảnh báo khi chỉ số sử dụng bất thường

Cần chú ý:

• Lượt dùng giảm mạnh.
• Lỗi tăng đột ngột.
• Một user gọi quá nhiều request.
• Một tác vụ gây quá tải.
• Nhiều câu hỏi không có nguồn.
• Nhiều request bị timeout.
• Nhiều câu hỏi nhập dữ liệu nhạy cảm.

Những bất thường này cần được phân tích.

12. Kết luận

Nhóm chỉ số sử dụng hệ thống giúp bệnh viện biết AI local có được dùng thật hay không, ai dùng, dùng vào việc gì, dùng lúc nào và có lỗi không. Tuy nhiên, số lượt dùng chỉ là chỉ số đầu vào. Để đánh giá hiệu quả thật, cần kết hợp với các chỉ số về thời gian, chất lượng, hài lòng, giảm tải công việc và an toàn thông tin.