Chương 21. Đánh giá hiệu quả ứng dụng AI local trong bệnh viện

Giới thiệu chương

Triển khai AI local trong bệnh viện không nên dừng lại ở câu hỏi: “Hệ thống có chạy được không?”. Một hệ thống chạy được chưa chắc đã hữu ích. Một chatbot trả lời được chưa chắc đã trả lời đúng. Một model mạnh chưa chắc phù hợp với công việc bệnh viện. Một hệ thống có nhiều lượt dùng chưa chắc tạo ra cải tiến thực chất. Vì vậy, sau khi triển khai, bệnh viện cần đánh giá hiệu quả ứng dụng AI local một cách có hệ thống.

Đánh giá hiệu quả giúp trả lời các câu hỏi rất quan trọng: AI local có giúp nhân viên tiết kiệm thời gian không? Có giúp tìm tài liệu nhanh hơn không? Có giúp viết kế hoạch, báo cáo, bảng kiểm tốt hơn không? Có giúp phòng Quản lý chất lượng làm việc có cấu trúc hơn không? Có giúp giảm việc hành chính lặp lại không? Có làm tăng rủi ro bảo mật không? Câu trả lời có đúng nguồn không? Người dùng có hài lòng không? Hệ thống có ổn định không? Có cần đổi model, sửa prompt, cập nhật dữ liệu hay đào tạo lại người dùng không?

Trong bệnh viện, đánh giá AI local phải cân bằng nhiều nhóm chỉ số. Nếu chỉ đo số lượt hỏi, bệnh viện có thể hiểu sai hiệu quả. Một hệ thống có nhiều lượt hỏi nhưng câu trả lời sai thì nguy hiểm. Một hệ thống có ít lượt hỏi nhưng được dùng cho các tác vụ quan trọng, giúp tiết kiệm nhiều giờ làm việc mỗi tuần, vẫn có giá trị cao. Một hệ thống trả lời nhanh nhưng không có nguồn thì không phù hợp cho quản lý chất lượng. Một hệ thống trả lời chính xác nhưng quá chậm cũng khó dùng trong thực tế.

Do đó, cần đánh giá theo nhiều chiều: mức độ sử dụng, thời gian xử lý công việc, chất lượng câu trả lời, sự hài lòng của nhân viên, mức độ giảm tải hành chính, an toàn thông tin, phản hồi người dùng và khả năng cải tiến liên tục. Đây là các nhóm chỉ số giúp lãnh đạo bệnh viện và phòng Công nghệ thông tin nhìn thấy hiệu quả thật, không chỉ hiệu ứng ban đầu.

Đánh giá hiệu quả cũng giúp bệnh viện ra quyết định đầu tư tiếp theo. Nếu AI local chứng minh được giá trị, bệnh viện có thể mở rộng sang nhiều phòng khoa, bổ sung GPU, tăng dung lượng lưu trữ, xây thêm chatbot chuyên biệt, tích hợp thêm QMS hoặc website nội bộ. Nếu hiệu quả chưa rõ, bệnh viện cần xem lại dữ liệu, prompt, model, giao diện, đào tạo người dùng hoặc lựa chọn tác vụ chưa phù hợp.

Chương này gồm 9 bài: vì sao cần đánh giá hiệu quả; nhóm chỉ số về sử dụng hệ thống; nhóm chỉ số về thời gian xử lý công việc; nhóm chỉ số về chất lượng câu trả lời; nhóm chỉ số về mức độ hài lòng của nhân viên; nhóm chỉ số về giảm tải công việc hành chính; nhóm chỉ số về an toàn thông tin; phương pháp thu thập phản hồi người dùng; và cải tiến liên tục hệ thống AI local.

Mục tiêu của chương là giúp bệnh viện xây dựng một khung đánh giá thực tế, có thể áp dụng ngay sau thí điểm và duy trì trong suốt quá trình mở rộng toàn viện. AI local chỉ thật sự có giá trị khi được đo lường, kiểm tra, cải tiến và chứng minh hiệu quả bằng dữ liệu.