Một nhóm làm tổng quan hệ thống về can thiệp giảm lo âu thi cử cho học sinh. Chuỗi tìm kiếm trên bốn cơ sở dữ liệu trả về 4.180 bản ghi sau khi loại trùng. Theo chuẩn, hai người đọc độc lập từng tiêu đề và tóm tắt. Mỗi bản ghi mất khoảng 30 giây, tức hơn 30 giờ cho mỗi người chỉ riêng khâu đầu. Không lạ khi nhóm muốn giao việc này cho AI. Câu hỏi đúng không phải “AI có sàng lọc được không” mà là “AI bỏ sót bao nhiêu bài đáng lẽ phải giữ, và làm sao chúng ta biết”.
Trong tổng quan hệ thống, loại nhầm một bài liên quan tệ hơn nhiều so với giữ nhầm một bài không liên quan: bài giữ nhầm sẽ bị loại ở vòng đọc toàn văn, còn bài loại nhầm thì biến mất vĩnh viễn.
Hai cách AI tham gia sàng lọc
| Cách | Hoạt động | Điểm mạnh | Rủi ro |
|---|---|---|---|
| Ưu tiên bằng học chủ động (active learning) | Bạn sàng lọc dần, mô hình học từ quyết định của bạn và đẩy bản ghi có khả năng liên quan lên đầu | Người vẫn đọc và quyết định; tìm được phần lớn bài liên quan sớm | Phải có luật dừng hợp lý, không thì hoặc đọc hết, hoặc dừng quá sớm |
| Sàng lọc bằng mô hình ngôn ngữ lớn | Đưa tiêu chí chọn bài và từng tóm tắt cho trợ lý AI, nhận quyết định giữ hoặc loại | Nhanh, không cần dữ liệu huấn luyện | Hiểu sai tiêu chí, kết quả thay đổi theo cách viết câu lệnh, khó tái lập |
Cách thứ nhất đã được dùng nhiều năm trong các công cụ quản lý tổng quan và có nhiều nghiên cứu đánh giá. Cách thứ hai mới hơn, nên hiện được xem là công cụ hỗ trợ, thường là người sàng lọc thứ hai bên cạnh một người thật, chứ chưa phải người thay thế.
Độ nhạy là con số phải đo
Độ nhạy (recall) là tỷ lệ bài liên quan thật mà AI giữ lại. Cách đo trên dữ liệu của chính bạn:
- Hai người sàng lọc thủ công một mẫu ngẫu nhiên, chẳng hạn 400 bản ghi, và thống nhất quyết định.
- Cho AI sàng lọc cùng 400 bản ghi đó, không cho nó thấy quyết định của người.
- Giả sử người giữ 40 bài, AI giữ được 37 trong số đó: độ nhạy là 37/40 = 92,5%.
- Đọc kỹ 3 bài bị AI loại: vì sao? Tiêu chí mơ hồ, tóm tắt thiếu thông tin, hay AI hiểu sai?
- Sửa tiêu chí hoặc câu lệnh, thử lại trên mẫu mới, không trên chính mẫu cũ.
Không có ngưỡng độ nhạy chung được chấp nhận ở mọi nơi, nhưng tổng quan hệ thống thường đặt mục tiêu rất cao. Nếu độ nhạy đo được thấp hơn điều bạn có thể biện hộ trước người phản biện, đừng dùng AI làm người sàng lọc độc lập.
Luật dừng khi dùng học chủ động
Khi công cụ đẩy bài liên quan lên đầu, đến một lúc bạn đọc hàng trăm bản ghi liên tiếp mà không gặp bài nào đáng giữ. Dừng ở đâu? Một số luật dừng thực tế:
- Dừng sau khi gặp một số lượng bản ghi không liên quan liên tiếp đã định trước (định trước, ghi trong đề cương, không quyết định khi đang mệt).
- Kết hợp với kiểm tra: sàng lọc thêm một mẫu ngẫu nhiên từ phần chưa đọc; nếu tìm thấy bài liên quan, tiếp tục.
- Kiểm chéo bằng danh sách “bài phải có”: những nghiên cứu bạn biết chắc thuộc phạm vi. Nếu có bài nào trong danh sách chưa được tìm thấy, chưa được dừng.
Viết tiêu chí để cả người lẫn máy hiểu như nhau
Tiêu chí mơ hồ gây bất đồng giữa hai người đọc, và gây sai số lớn hơn với AI. Viết tiêu chí theo khung PICO (hoặc khung phù hợp ngành) với định nghĩa rõ:
- “Học sinh” là ai? Tiểu học, trung học, có tính sinh viên đại học không?
- “Lo âu thi cử” đo bằng công cụ chuẩn hóa hay tự báo cáo đơn giản cũng được?
- Thiết kế nào được giữ: chỉ thử nghiệm ngẫu nhiên, hay cả bán thực nghiệm?
- Khi tóm tắt không đủ thông tin: giữ lại để đọc toàn văn. Ghi quy tắc này rõ trong câu lệnh cho AI.
Một kế hoạch thực tế cho nhóm hai người
Với 4.180 bản ghi của nhóm trong ví dụ, một phương án cân bằng giữa tiết kiệm và an toàn:
- Hai người cùng sàng lọc độc lập 400 bản ghi ngẫu nhiên, thống nhất, rồi dùng tập này đo độ nhạy của AI.
- Người thứ nhất sàng lọc toàn bộ phần còn lại theo thứ tự ưu tiên của công cụ học chủ động, cho tới khi đạt luật dừng.
- AI đóng vai người sàng lọc thứ hai trên cùng phần đó; mọi bản ghi mà người và AI bất đồng được người thứ hai đọc.
- Người thứ hai kiểm thêm một mẫu ngẫu nhiên từ các bản ghi cả người lẫn AI cùng loại.
Khối lượng đọc của người thứ hai giảm mạnh, trong khi mỗi bản ghi vẫn có ít nhất một người thật đọc và mọi bất đồng đều được xem lại.
Sau sàng lọc: trích xuất dữ liệu và đánh giá nguy cơ sai lệch
Trợ lý AI có thể giúp trích xuất thông tin như cỡ mẫu, đặc điểm người tham gia, thời gian can thiệp vào bảng. Nhưng lỗi ở khâu này đi thẳng vào phân tích gộp. Quy tắc tối thiểu: mọi con số do AI trích xuất phải được một người đối chiếu với bài gốc, đúng như quy trình hai người trích xuất truyền thống. Đánh giá nguy cơ sai lệch (risk of bias) là phán đoán chuyên môn; AI có thể gợi ý chỗ cần chú ý, không nên đưa ra phán quyết.
Báo cáo theo PRISMA
PRISMA 2020 yêu cầu mô tả công cụ tự động dùng trong quá trình chọn bài. Phần phương pháp nên nêu:
- Công cụ, phiên bản, cách dùng (ưu tiên, sàng lọc thứ hai, hay trích xuất).
- Câu lệnh hoặc cấu hình, đưa đầy đủ vào tài liệu bổ sung.
- Kết quả kiểm chứng độ nhạy trên mẫu thủ công.
- Luật dừng và số bản ghi thực tế đã được người đọc.
- Cách xử lý bất đồng giữa người và AI.
Nếu bạn đang lên đề cương tổng quan, hãy ghi ngay kế hoạch dùng AI và luật dừng vào đề cương trước khi đăng ký. Quyết định trước khi thấy dữ liệu là điều giúp người đọc tin kết quả của bạn, đúng như với mọi quyết định phân tích khác.
Câu hỏi thường gặp
Có được dùng AI để sàng lọc bài trong tổng quan hệ thống không?
Có, nhưng an toàn nhất khi AI dùng để ưu tiên bản ghi hoặc làm người sàng lọc thứ hai bên cạnh người thật. Cần đo độ nhạy trên mẫu thủ công và báo cáo rõ theo PRISMA.
Độ nhạy (recall) trong sàng lọc là gì?
Là tỷ lệ bài liên quan thật mà phương pháp sàng lọc giữ lại. Trong tổng quan hệ thống, độ nhạy quan trọng hơn độ chính xác vì bài bị loại nhầm sẽ mất vĩnh viễn.
Khi nào dừng sàng lọc nếu dùng công cụ học chủ động?
Theo luật dừng đã định trước trong đề cương, ví dụ sau một số bản ghi không liên quan liên tiếp, kèm kiểm tra mẫu ngẫu nhiên phần chưa đọc và danh sách bài phải có.
AI có trích xuất dữ liệu cho phân tích gộp được không?
Có thể hỗ trợ, nhưng mọi con số AI trích xuất phải được người đối chiếu với bài gốc, vì lỗi ở khâu này ảnh hưởng trực tiếp đến kết quả gộp.
Báo cáo việc dùng AI trong tổng quan hệ thống thế nào?
Nêu công cụ, phiên bản, vai trò, câu lệnh hoặc cấu hình, kết quả kiểm chứng độ nhạy, luật dừng và cách xử lý bất đồng giữa người và AI, theo yêu cầu của PRISMA 2020.
