Một nhóm nghiên cứu khảo sát 600 sinh viên năm nhất về mức độ gắn kết với trường, dự định đo lại vào cuối năm hai và năm tư. Đến đợt hai, chỉ 390 người trả lời. Tệ hơn, 60 phiếu không ghép được với đợt một vì sinh viên tự nhập mã số sinh viên sai hoặc dùng email khác. Đến đợt ba, nhóm nhận ra những người còn ở lại chủ yếu là sinh viên có kết quả học tập tốt, tức là đúng nhóm ít cần can thiệp nhất.
Nghiên cứu theo dõi dọc (longitudinal study) đo cùng một đối tượng nhiều lần theo thời gian. Nó là cách duy nhất để thấy thay đổi ở cấp cá nhân và thứ tự thời gian của các sự kiện. Nhưng mọi quyết định thiết kế đều phải tính đến việc bạn sẽ mất người.
Theo dõi dọc cho bạn điều gì mà cắt ngang không cho
| Câu hỏi | Cắt ngang | Cắt ngang lặp lại | Theo dõi dọc (panel) |
|---|---|---|---|
| Tỷ lệ hiện tại là bao nhiêu | Được | Được | Được |
| Tỷ lệ chung thay đổi qua các năm | Không | Được | Được |
| Ai thay đổi, thay đổi bao nhiêu | Không | Không | Được |
| Điều gì xảy ra trước điều gì ở mỗi người | Không | Không | Được |
Nếu câu hỏi chỉ ở hai dòng đầu, đừng làm theo dõi dọc. Nó tốn kém gấp nhiều lần và rủi ro hao hụt không đáng.
Số đợt và khoảng cách giữa các đợt
Khoảng cách phải khớp với tốc độ thay đổi của hiện tượng. Căng thẳng trong mùa thi thay đổi theo tuần; kỹ năng đọc của trẻ thay đổi theo học kỳ; thu nhập sau tốt nghiệp thay đổi theo năm. Đo quá thưa, bạn bỏ lỡ đỉnh và đáy; đo quá dày, người tham gia mệt và bỏ cuộc.
- Hai đợt chỉ cho biết chênh lệch, không phân biệt được thay đổi thật với sai số đo.
- Ba đợt là mức tối thiểu để mô tả quỹ đạo tuyến tính.
- Bốn đợt trở lên mới cho phép kiểm tra quỹ đạo cong hay thay đổi có điểm gãy.
Hãy gắn các đợt với mốc có ý nghĩa (trước và sau kỳ thực tập, đầu và cuối năm học) thay vì chia đều theo lịch cho tiện.
Mã định danh: quyết định trước đợt một
Lỗi không ghép được phiếu là lỗi rẻ nhất để phòng và đắt nhất để sửa. Các cách thường dùng:
- Mã do nhóm nghiên cứu cấp, gửi qua đường liên kết cá nhân hoá. Chính xác nhất, nhưng cần lưu danh sách liên kết tên – mã ở nơi bảo mật tách khỏi dữ liệu.
- Mã tự tạo theo quy tắc: ví dụ hai chữ cái đầu tên mẹ, ngày sinh (hai chữ số), hai chữ số cuối số điện thoại. Không cần lưu danh tính, nhưng cần kiểm tra tay các cặp gần khớp.
- Tránh dùng thông tin dễ thay đổi như email, lớp, số phòng ký túc xá.
Ghi rõ quy tắc ghép trong kế hoạch quản lý dữ liệu và thử ghép với dữ liệu giả trước khi mở đợt một.
Giữ chân người tham gia
Hao hụt (attrition) không thể tránh, nhưng có thể giảm đáng kể. Các biện pháp thực tế:
- Xin hai hoặc ba kênh liên lạc ngay từ đầu, kèm một người liên hệ dự phòng nếu phù hợp, và sự đồng ý được liên lạc lại.
- Gửi tin cảm ơn và một kết quả tóm tắt dễ hiểu giữa các đợt, để người tham gia thấy họ là một phần của dự án.
- Giữ phiếu các đợt sau ngắn bằng hoặc ngắn hơn đợt một. Thêm câu hỏi ở đợt sau là cách nhanh nhất để mất người.
- Nhắc lịch nhiều lần theo trình tự: báo trước, mở phiếu, nhắc sau ba ngày, nhắc lần cuối.
- Không loại người bỏ một đợt khỏi các đợt sau. Người vắng đợt hai vẫn có thể quay lại đợt ba.
- Nếu có thù lao, tăng nhẹ ở các đợt sau thay vì giữ nguyên hoặc giảm.
Đo lường nhất quán giữa các đợt
Muốn so sánh, bạn phải đo cùng một thứ theo cùng một cách. Không sửa câu chữ, không đổi thứ tự các thang đo, không đổi hình thức từ phiếu giấy sang trực tuyến giữa chừng nếu tránh được. Nếu buộc phải thay đổi, hãy cho một nhóm nhỏ trả lời cả phiên bản cũ và mới để ước lượng chênh lệch.
Với thang đo tâm lý, còn một câu hỏi tinh tế hơn: người tham gia có hiểu câu hỏi giống nhau ở các thời điểm không. Một sinh viên năm tư có thể hiểu “gắn kết với trường” khác hẳn năm nhất. Kiểm định tính bất biến đo lường qua thời gian (longitudinal measurement invariance) giúp trả lời điều này trước khi so sánh điểm trung bình.
Phân tích khi mẫu hao hụt
Bước đầu tiên luôn là so sánh người ở lại với người rời đi, dựa trên dữ liệu đợt một. Nếu người rời đi có điểm gắn kết thấp hơn rõ rệt, bất kỳ kết luận nào chỉ dựa trên người ở lại sẽ lệch lạc về phía lạc quan.
- Chỉ phân tích người đủ mọi đợt là cách đơn giản nhất và thường sai lệch nhất.
- Mô hình hỗn hợp (mixed models) hoặc mô hình tăng trưởng dùng được mọi quan sát có sẵn của mỗi người, kể cả người thiếu một đợt, với giả định dữ liệu thiếu ngẫu nhiên có điều kiện (MAR).
- Điền khuyết đa trị dựa trên các biến dự báo khả năng rời bỏ.
- Phân tích độ nhạy: thử các giả định khác nhau về người đã rời đi và xem kết luận có đổi không.
Báo cáo tỷ lệ giữ chân ở mỗi đợt, đặc điểm người rời đi, và phương pháp xử lý, kèm sơ đồ dòng chảy người tham gia qua các đợt.
Checklist trước đợt một
- Câu hỏi thật sự cần thay đổi ở cấp cá nhân.
- Số đợt và mốc thời gian gắn với tốc độ thay đổi của hiện tượng.
- Quy tắc mã định danh đã thử với dữ liệu giả.
- Hai hoặc ba kênh liên lạc và sự đồng ý liên lạc lại.
- Bộ công cụ đo cố định cho mọi đợt.
- Cỡ mẫu đợt một đã tính bù hao hụt dự kiến.
- Kế hoạch phân tích dữ liệu thiếu viết từ trước.
Hãy tính ngược cỡ mẫu từ đợt cuối: nếu phân tích cần 250 người ở đợt ba và bạn dự kiến mỗi đợt giữ được 80%, đợt một cần khoảng 250 / (0,8 × 0,8) ≈ 391 người. Làm phép tính này trước khi xin kinh phí, không phải sau đợt hai.
Câu hỏi thường gặp
Nghiên cứu theo dõi dọc khác nghiên cứu cắt ngang thế nào?
Nghiên cứu cắt ngang đo mỗi người một lần tại một thời điểm. Nghiên cứu theo dõi dọc đo cùng một người nhiều lần, nhờ đó thấy được thay đổi ở cấp cá nhân và thứ tự thời gian của các sự kiện.
Nghiên cứu theo dõi dọc cần ít nhất bao nhiêu đợt?
Hai đợt chỉ cho biết chênh lệch. Ba đợt là mức tối thiểu để mô tả một quỹ đạo thay đổi, và bốn đợt trở lên cần thiết nếu bạn muốn kiểm tra thay đổi không tuyến tính.
Hao hụt mẫu (attrition) là gì?
Là việc người tham gia rời khỏi nghiên cứu qua các đợt đo. Hao hụt làm giảm cỡ mẫu và, nguy hiểm hơn, có thể làm mẫu còn lại khác biệt có hệ thống với mẫu ban đầu.
Làm sao ghép dữ liệu giữa các đợt khảo sát?
Dùng một mã định danh ổn định, do nhóm nghiên cứu cấp qua đường liên kết cá nhân hoá hoặc do người tham gia tự tạo theo quy tắc cố định. Tránh dùng email hay lớp học vì chúng dễ thay đổi.
Có nên chỉ phân tích những người tham gia đủ mọi đợt không?
Thường không nên, vì những người ở lại hiếm khi giống những người rời đi. Mô hình hỗn hợp hoặc điền khuyết đa trị dùng được nhiều dữ liệu hơn, kèm phân tích độ nhạy về giả định dữ liệu thiếu.
