Một nghiên cứu sinh đăng đường dẫn khảo sát lên ba nhóm mạng xã hội lớn, kèm lời hứa tặng thẻ điện thoại cho 50 người trả lời đầu tiên. Qua một đêm, số phiếu vượt 1.200. Khi mở dữ liệu, cô thấy hơn 300 phiếu hoàn thành bảng hỏi 60 câu trong dưới hai phút, hàng chục câu trả lời mở giống hệt nhau từng chữ, và một nhóm phiếu có cùng dải địa chỉ mạng gửi liên tục trong 15 phút. Những phiếu còn lại cũng khó tin hoàn toàn.
Khảo sát trực tuyến rẻ, nhanh, tiếp cận rộng. Nhưng chính những đặc điểm đó thu hút cả phiếu kém chất lượng. Chất lượng dữ liệu phải được thiết kế từ trước khi phát phiếu, không thể cứu hoàn toàn sau khi đã thu.
Bốn loại phiếu có vấn đề
| Loại | Dấu hiệu | Nguồn gốc thường gặp |
|---|---|---|
| Trả lời ẩu (careless responding) | Hoàn thành quá nhanh, chọn cùng một mức cho cả trang, sai câu kiểm tra chú ý | Người thật nhưng không đọc, thường vì thưởng hoặc mệt |
| Phiếu trùng | Cùng thông tin nhân khẩu, cùng thiết bị, nộp cách nhau vài phút | Một người nộp nhiều lần để tăng cơ hội nhận thưởng |
| Bot và phiếu tự động | Câu trả lời mở vô nghĩa hoặc sao chép, thời gian đều bất thường, loạt phiếu dồn dập | Đường dẫn công khai kèm thưởng tiền |
| Người ngoài đối tượng | Không khớp tiêu chí nhưng vẫn trả lời, mâu thuẫn giữa các câu | Tiêu chí sàng lọc lộ ra quá rõ |
Phòng từ khâu thiết kế và phát phiếu
- Không công khai phần thưởng quá hấp dẫn trên đường dẫn mở. Nếu có thưởng, dùng hình thức rút thăm sau khi kiểm tra phiếu, và nói rõ phiếu không hợp lệ không được tham gia.
- Phát qua kênh có kiểm soát khi có thể: danh sách thư của khoa, đường dẫn cá nhân hoá dùng một lần.
- Giấu tiêu chí sàng lọc: thay vì hỏi “Bạn có phải giáo viên tiểu học không?”, hỏi “Công việc hiện tại của bạn là gì?” với nhiều lựa chọn.
- Bật các tính năng của nền tảng: chặn nộp nhiều lần từ cùng trình duyệt, xác minh chống bot (CAPTCHA), ghi thời gian mỗi trang. Lưu ý các tính năng này giảm chứ không loại trừ vấn đề.
- Giữ bảng hỏi ngắn. Tỷ lệ trả lời ẩu tăng theo độ dài; các câu ở cuối bảng hỏi dài thường kém chất lượng nhất.
Câu kiểm tra chú ý: dùng đúng cách
Câu kiểm tra chú ý (attention check) có hai kiểu. Kiểu chỉ dẫn: “Với câu này, vui lòng chọn Hoàn toàn không đồng ý.” Kiểu vô lý: “Tôi chưa bao giờ dùng điện thoại trong đời.” Người đọc kỹ sẽ trả lời đúng; người chọn bừa có xác suất sai cao.
Một số lưu ý thực tế:
- Dùng hai hoặc ba câu rải rác, và loại phiếu dựa trên việc sai từ hai câu trở lên, để tránh loại oan người lỡ tay một lần.
- Không dùng câu đánh đố hay mẹo ngôn ngữ; mục tiêu là phát hiện người không đọc, không phải kiểm tra trí thông minh.
- Đặt chúng trong các khối thang đo dài, nơi trả lời ẩu hay xảy ra nhất.
- Với người tham gia là đồng nghiệp hay chuyên gia, câu kiểm tra có thể gây phản cảm; cân nhắc dùng chỉ số thời gian và mẫu hình trả lời thay thế.
Các chỉ số sau thu thập
- Thời gian hoàn thành: xác định mức tối thiểu hợp lý, ví dụ tính theo khoảng hai giây cho mỗi câu thang đo ngắn. Người hoàn thành 60 câu trong 90 giây gần như chắc chắn không đọc.
- Trả lời theo hàng (straightlining): chọn cùng một mức cho mọi câu trong một khối, đặc biệt đáng ngờ khi khối có câu đảo chiều.
- Mâu thuẫn nội tại: đồng ý mạnh cả với một câu và câu ngược nghĩa của nó; tuổi 19 nhưng có 15 năm kinh nghiệm giảng dạy.
- Câu hỏi mở: câu trả lời vô nghĩa, lạc đề, hoặc trùng từng chữ với phiếu khác. Câu hỏi mở ngắn đặt ở giữa bảng hỏi là một công cụ phát hiện bot khá hiệu quả.
- Dấu vết kỹ thuật: nhiều phiếu cùng địa chỉ mạng trong thời gian ngắn, cùng cấu hình thiết bị. Lưu ý mạng ký túc xá hay văn phòng có thể dùng chung địa chỉ, nên đừng loại chỉ dựa vào dấu hiệu này.
Đặt quy tắc loại phiếu trước khi nhìn kết quả
Đây là điểm mà nhiều người bỏ qua. Nếu bạn chạy phân tích, thấy kết quả không như ý, rồi mới quyết định loại phiếu theo tiêu chí này hay tiêu chí khác, bạn đang tạo ra một dạng linh hoạt phân tích có thể làm sai kết quả. Hãy viết quy tắc loại phiếu vào kế hoạch phân tích trước khi mở dữ liệu. Ví dụ: “Loại phiếu thoả một trong ba điều kiện: sai từ hai câu kiểm tra chú ý; thời gian hoàn thành dưới 40% trung vị; câu trả lời mở vô nghĩa theo đánh giá độc lập của hai người.”
Sau đó báo cáo đầy đủ: bao nhiêu phiếu nhận được, bao nhiêu bị loại theo từng tiêu chí (một phiếu có thể thoả nhiều tiêu chí), và kết quả chính có thay đổi không khi giữ lại các phiếu bị loại. Phân tích độ nhạy này giúp người đọc tin rằng việc làm sạch không quyết định kết luận.
Checklist triển khai
- Bảng hỏi ngắn nhất có thể; tính thời gian hoàn thành trung bình bằng thử nghiệm với 5–10 người.
- Hai hoặc ba câu kiểm tra chú ý, một câu hỏi mở ngắn ở giữa.
- Câu sàng lọc không lộ tiêu chí.
- Bật chống nộp trùng, chống bot và ghi thời gian.
- Phần thưởng qua rút thăm sau kiểm tra, không hứa theo thứ tự nộp.
- Quy tắc loại phiếu viết sẵn trong kế hoạch phân tích.
- Theo dõi số phiếu theo giờ trong mấy ngày đầu để phát hiện đợt phiếu dồn bất thường.
Việc nên làm trước khi phát phiếu: tự làm bảng hỏi của mình một lượt thật nhanh như một người chỉ muốn nhận thưởng. Ghi lại thời gian và những câu bạn trả lời được mà không cần đọc. Đó chính là những chỗ bạn cần thêm câu kiểm tra hoặc rút gọn.
Câu hỏi thường gặp
Làm sao phát hiện phiếu khảo sát trả lời ẩu?
Kết hợp nhiều chỉ số: thời gian hoàn thành quá ngắn, chọn cùng một mức cho cả khối câu hỏi, sai câu kiểm tra chú ý, mâu thuẫn giữa các câu và câu trả lời mở vô nghĩa. Không nên loại phiếu chỉ dựa vào một dấu hiệu duy nhất.
Câu kiểm tra chú ý là gì?
Là câu được chèn vào bảng hỏi để xem người trả lời có đọc kỹ không, ví dụ yêu cầu chọn một đáp án cụ thể. Nên dùng hai hoặc ba câu và chỉ loại phiếu khi sai từ hai câu trở lên.
Tặng thưởng cho người trả lời khảo sát có nên không?
Thưởng giúp tăng tỷ lệ trả lời nhưng cũng thu hút phiếu kém chất lượng khi đường dẫn công khai. Cách an toàn hơn là rút thăm sau khi kiểm tra phiếu và nói rõ phiếu không hợp lệ không được tham gia.
Có được loại phiếu sau khi xem kết quả phân tích không?
Không nên quyết định tiêu chí loại phiếu sau khi xem kết quả, vì điều đó tạo ra linh hoạt phân tích có thể làm sai lệch kết luận. Hãy viết quy tắc từ trước và báo cáo phân tích độ nhạy khi giữ lại các phiếu bị loại.
Làm sao chống bot khi khảo sát trực tuyến?
Dùng xác minh chống bot của nền tảng, tránh đường dẫn công khai kèm thưởng tiền, đặt câu hỏi mở ngắn để phát hiện câu trả lời vô nghĩa và theo dõi các đợt phiếu dồn dập bất thường. Không có biện pháp nào loại trừ hoàn toàn nên cần kết hợp.
