Đề tài ứng dụng phổ biến bậc nhất ở các trường sư phạm: giáo viên áp dụng một phương pháp mới cho lớp mình trong tám tuần, kiểm tra đầu vào được 5,8 điểm, kiểm tra cuối kỳ được 7,3 điểm, kết luận “phương pháp có hiệu quả rõ rệt”. Kết quả có thể đúng. Nhưng thiết kế này không cho phép phân biệt tác động của phương pháp với tác động của tám tuần học bình thường, của việc làm quen đề, hay của chính sự nhiệt tình của giáo viên khi thử cái mới.
Thực nghiệm là thiết kế duy nhất cho phép nói về nhân quả một cách khá chắc chắn, nhưng chỉ khi nó thực sự loại được các lời giải thích thay thế. Phần lớn công sức thiết kế nằm ở đó.
Năm lời giải thích thay thế cho điểm tăng
| Mối đe doạ | Nghĩa là gì | Ví dụ trong lớp học |
|---|---|---|
| Trưởng thành | Người học tự tiến bộ theo thời gian | Tám tuần học chương trình thường cũng làm điểm tăng |
| Hiệu ứng làm bài kiểm tra | Làm bài trước giúp làm bài sau tốt hơn | Đề trước và sau giống dạng nhau |
| Hồi quy về trung bình | Nhóm chọn vì điểm thấp sẽ tự nhích lên | Chọn lớp yếu nhất để thử nghiệm |
| Sự kiện xen giữa | Điều khác xảy ra cùng lúc | Trường tổ chức ôn thi giữa kỳ |
| Hiệu ứng mới lạ, kỳ vọng | Người học và người dạy hăng hái vì biết đang được thử nghiệm | Giáo viên đầu tư chuẩn bị nhiều hơn hẳn |
Hồi quy về trung bình đặc biệt đáng chú ý. Một lớp được chọn vì điểm kiểm tra đầu vào thấp bất thường gần như chắc chắn sẽ có điểm lần sau cao hơn, chỉ vì một phần điểm thấp lần đầu là do may rủi. Không có nhóm đối chứng cũng được chọn theo cách đó, bạn không tách được hiện tượng này.
Nhóm đối chứng: thứ không thể thiếu
Thêm một nhóm đối chứng học theo cách thông thường, đo cùng thời điểm, cùng đề, loại được phần lớn các mối đe doạ trên, vì chúng tác động lên cả hai nhóm. Câu hỏi lúc này trở thành: nhóm thực nghiệm tăng nhiều hơn nhóm đối chứng bao nhiêu?
Có ba mức độ chặt chẽ:
- Thực nghiệm ngẫu nhiên: từng cá nhân được chia ngẫu nhiên vào hai nhóm. Mạnh nhất, nhưng trong trường học thường không khả thi vì học sinh học theo lớp.
- Ngẫu nhiên theo cụm: bốc thăm các lớp (hoặc trường) vào hai nhóm. Khả thi hơn, nhưng cần nhiều cụm; bốc thăm 2 lớp thì gần như không khác chọn tay.
- Bán thực nghiệm với nhóm không tương đương: lớp có sẵn, không ngẫu nhiên. Phổ biến nhất trong luận văn; cần đo trước để kiểm tra và hiệu chỉnh khác biệt ban đầu.
Ví dụ thiết kế lại một đề tài
Đề tài: hiệu quả của dạy học theo trạm với môn Sinh lớp 10. Nguồn lực: một giáo viên dạy 4 lớp cùng khối, mỗi lớp khoảng 40 học sinh.
- Bốc thăm 2 lớp thực nghiệm, 2 lớp đối chứng, thay vì tự chọn lớp “phù hợp”.
- Kiểm tra trước ở cả 4 lớp bằng một đề; kiểm tra sau bằng đề song song cùng độ khó, chấm bởi người không biết lớp nào thuộc nhóm nào.
- Giữ nguyên thời lượng, nội dung, giáo viên ở cả hai nhóm; chỉ khác phương pháp.
- Ghi nhật ký thực hiện ở lớp thực nghiệm (trung thành với thiết kế can thiệp) và ghi lại cách dạy ở lớp đối chứng.
- Theo dõi rò rỉ: học sinh hai nhóm có trao đổi tài liệu không.
- Phân tích bằng ANCOVA hoặc hồi quy với điểm sau là biến phụ thuộc, điểm trước là biến kiểm soát, có tính đến việc học sinh lồng trong lớp.
Với chỉ 4 lớp, thiết kế này vẫn yếu về mặt thống kê ở cấp lớp — cần nói rõ trong phần hạn chế. Nhưng nó mạnh hơn nhiều so với một lớp trước – sau.
Phân tích: so điểm tăng hay hiệu chỉnh điểm trước
Có hai cách phổ biến: so sánh mức tăng (điểm sau trừ điểm trước) giữa hai nhóm, hoặc ANCOVA dùng điểm trước làm biến kiểm soát. Với thực nghiệm ngẫu nhiên, ANCOVA thường có lực mẫu tốt hơn. Với nhóm không tương đương, hai cách có thể cho kết luận khác nhau; báo cáo cả hai và giải thích là cách minh bạch. Luôn báo cáo độ lớn hiệu ứng (như Hedges’ g) cùng khoảng tin cậy, không chỉ giá trị p.
Đạo đức với nhóm đối chứng
Lo ngại hay gặp: để nhóm đối chứng học cách cũ có thiệt cho các em không? Nếu thực sự chưa biết phương pháp mới tốt hơn — đó là lý do phải nghiên cứu — thì không có ai bị thiệt chắc chắn. Giải pháp thường dùng là đối chứng chờ: nhóm đối chứng được áp dụng phương pháp mới sau khi kết thúc giai đoạn đo. Cần xin phép nhà trường, thông tin cho phụ huynh theo quy định của cơ sở và hội đồng đạo đức nếu có.
Báo cáo theo chuẩn
Với thử nghiệm ngẫu nhiên, hướng dẫn CONSORT (và phần mở rộng cho thử nghiệm theo cụm) liệt kê những gì cần báo cáo: cách tạo chuỗi ngẫu nhiên, ai biết phân nhóm, sơ đồ luồng người tham gia từ tuyển đến phân tích, số bỏ cuộc ở mỗi nhóm. Ngay cả khi làm bán thực nghiệm, dùng CONSORT như danh sách kiểm tra giúp bài viết đầy đủ hơn nhiều.
Những thứ không cần làm
Không cần can thiệp kéo dài cả năm học cho luận văn thạc sĩ; một can thiệp 6–10 tuần được thiết kế chặt thuyết phục hơn một can thiệp dài nhưng lỏng lẻo. Không cần đo mười biến kết quả; chọn một biến chính, khai báo trước, và coi các biến còn lại là phụ.
Checklist thiết kế thực nghiệm
- Có nhóm đối chứng đo cùng thời điểm.
- Phân nhóm ngẫu nhiên ở cấp khả thi nhất, hoặc giải thích vì sao không thể.
- Có đo trước và kiểm tra tương đương ban đầu.
- Người chấm không biết phân nhóm.
- Một biến kết quả chính được khai báo trước.
- Theo dõi độ trung thành thực hiện và rò rỉ giữa nhóm.
- Kế hoạch phân tích tính đến dữ liệu lồng theo lớp.
Việc nên làm tiếp: liệt kê năm mối đe doạ trong bảng đầu bài, đặt cạnh thiết kế hiện tại của bạn và viết một dòng cho mỗi mối đe doạ: thiết kế đã loại nó bằng cách nào. Dòng nào còn trống là việc phải sửa trước khi bắt đầu can thiệp.
Câu hỏi thường gặp
Thiết kế một nhóm trước – sau có dùng được không?
Dùng được cho nghiên cứu thử hoặc mô tả sự thay đổi, nhưng không đủ để kết luận phương pháp gây ra thay đổi. Trưởng thành, hiệu ứng làm bài kiểm tra và hồi quy về trung bình đều có thể giải thích điểm tăng.
Bán thực nghiệm khác thực nghiệm thế nào?
Thực nghiệm phân nhóm ngẫu nhiên, còn bán thực nghiệm dùng nhóm có sẵn như các lớp học. Bán thực nghiệm cần đo trước và hiệu chỉnh khác biệt ban đầu, và kết luận thận trọng hơn.
Nên phân tích dữ liệu thực nghiệm bằng gì?
Thường dùng ANCOVA hoặc hồi quy với điểm sau là biến phụ thuộc và điểm trước là biến kiểm soát. Nếu học sinh lồng trong lớp, cần tính đến cấu trúc này, và luôn báo cáo độ lớn hiệu ứng.
Có vi phạm đạo đức khi để lớp đối chứng học cách cũ không?
Nếu chưa biết phương pháp mới tốt hơn thì không ai chắc chắn bị thiệt. Có thể dùng thiết kế đối chứng chờ, áp dụng phương pháp mới cho nhóm đối chứng sau giai đoạn đo.
CONSORT là gì?
Là hướng dẫn báo cáo thử nghiệm ngẫu nhiên có đối chứng, gồm danh mục kiểm tra và sơ đồ luồng người tham gia. Có phần mở rộng cho thử nghiệm theo cụm và rất hữu ích cả khi làm bán thực nghiệm.
