Hai nhóm cùng báo cáo “can thiệp làm tăng động lực học tập, p = 0,03”. Nhóm thứ nhất đã viết từ trước khi thu dữ liệu rằng họ sẽ đo động lực bằng thang đo nào, so sánh bằng phép kiểm định nào, loại bỏ ai. Nhóm thứ hai thử bốn thang đo, hai cách loại bỏ ngoại lai và ba mô hình, rồi báo cáo tổ hợp cho kết quả đẹp nhất. Trên giấy, hai kết quả giống hệt nhau. Về giá trị bằng chứng, chúng khác nhau rất xa.
Tiền đăng ký (preregistration) là cách để người đọc biết bạn thuộc nhóm nào mà không cần tin lời bạn.
Tiền đăng ký là gì, và không là gì
Tiền đăng ký là bản kế hoạch nghiên cứu có đóng dấu thời gian, được lưu ở nơi công khai hoặc khoá kín tới một ngày định trước, trước khi bạn thu hoặc xem dữ liệu. Nó không phải:
- Lời hứa không bao giờ làm phân tích khám phá. Bạn vẫn làm được, chỉ cần gắn nhãn “khám phá”.
- Cam kết không được đổi kế hoạch. Đổi được, miễn là báo cáo minh bạch.
- Thủ tục chỉ dành cho nghiên cứu thực nghiệm. Nghiên cứu dữ liệu thứ cấp, nghiên cứu định tính cũng có mẫu tiền đăng ký riêng.
Ghi những gì
Mẫu phổ biến trên OSF và AsPredicted xoay quanh các câu hỏi sau:
| Mục | Ví dụ đủ cụ thể | Ví dụ quá mơ hồ |
|---|---|---|
| Giả thuyết | Nhóm học theo cặp có điểm bài kiểm tra cuối kỳ cao hơn nhóm học cá nhân | Học theo cặp có ảnh hưởng tới kết quả |
| Biến phụ thuộc | Điểm bài kiểm tra 40 câu, thang 0–40 | Kết quả học tập |
| Cỡ mẫu và điểm dừng | 120 sinh viên, dừng khi đủ hoặc hết ngày 30/11, tính theo phân tích công suất với d = 0,5 | Càng nhiều càng tốt |
| Tiêu chí loại trừ | Loại người làm dưới 5 phút hoặc sai cả hai câu kiểm tra chú ý | Loại dữ liệu kém chất lượng |
| Phân tích chính | Hồi quy tuyến tính, biến kiểm soát là điểm đầu vào, kiểm định hai phía, α = 0,05 | Dùng thống kê phù hợp |
Nguyên tắc để viết đủ kỹ: một người khác cầm bản tiền đăng ký và dữ liệu của bạn phải chạy ra đúng một kết quả, không phải phải tự chọn giữa nhiều cách.
Nơi đăng ký
- OSF Registries: nhiều mẫu cho nhiều loại nghiên cứu, có thể khoá kín tới bốn năm.
- AsPredicted: mẫu tám câu hỏi ngắn, hợp với thí nghiệm nhỏ.
- Cơ sở đăng ký thử nghiệm lâm sàng như ClinicalTrials.gov hay các cơ sở thuộc mạng lưới của WHO: bắt buộc với thử nghiệm lâm sàng và nhiều tạp chí y khoa sẽ không nhận bài nếu thiếu.
- PROSPERO: dành cho đề cương tổng quan hệ thống có kết cục liên quan tới sức khoẻ.
Registered Reports: phản biện trước khi có kết quả
Registered Reports đi xa hơn một bước. Bạn gửi phần mở đầu, phương pháp và kế hoạch phân tích cho tạp chí trước khi thu dữ liệu. Nếu qua phản biện giai đoạn 1, tạp chí chấp nhận nguyên tắc (in-principle acceptance): họ cam kết đăng bài bất kể kết quả ra sao, miễn là bạn làm đúng kế hoạch. Giai đoạn 2 chỉ kiểm tra bạn có làm đúng không và diễn giải có hợp lý không.
Với nghiên cứu sinh, đây là điểm hấp dẫn: một kết quả không có ý nghĩa thống kê vẫn thành bài báo. Đổi lại, bạn cần thời gian chờ phản biện giai đoạn 1 trước khi thu dữ liệu, nên phải tính vào kế hoạch luận án.
Khi phải lệch khỏi kế hoạch
Gần như nghiên cứu nào cũng lệch ở đâu đó: trường học rút lui làm thiếu mẫu, thang đo có độ tin cậy thấp, dữ liệu vi phạm giả định. Cách xử lý đúng:
- Ghi lại lệch gì, khi nào, vì sao, trước khi chạy phân tích bị ảnh hưởng nếu có thể.
- Trong bài, có một bảng “Các điểm lệch khỏi tiền đăng ký” gồm: kế hoạch ban đầu, việc thực tế đã làm, lý do, ảnh hưởng dự kiến tới kết quả.
- Nếu được, báo cáo cả phân tích theo kế hoạch cũ lẫn phân tích đã điều chỉnh.
Lệch có giải thích không làm bài yếu đi. Lệch âm thầm, khi người phản biện so với bản tiền đăng ký và phát hiện ra, thì làm mất lòng tin vào cả bài.
Những hiểu lầm hay gặp
- “Người khác sẽ lấy ý tưởng của tôi.” Bạn có thể khoá kín bản đăng ký tới khi công bố; dấu thời gian còn giúp chứng minh bạn nghĩ ra trước.
- “Nghiên cứu của tôi là khám phá, không có giả thuyết.” Vẫn đăng ký được phần thu thập dữ liệu, tiêu chí loại trừ và câu hỏi nghiên cứu. Ghi rõ là khám phá cũng là một dạng minh bạch.
- “Tiền đăng ký tốn quá nhiều thời gian.” Phần lớn nội dung là thứ bạn phải viết cho đề cương hoặc hồ sơ đạo đức. Thời gian thật sự tăng thêm chủ yếu là nghĩ kỹ phân tích, và đó là việc đằng nào cũng nên làm.
- “Dữ liệu thứ cấp thì không tiền đăng ký được.” Được, kèm khai báo bạn đã xem gì trong dữ liệu trước khi đăng ký.
Quy trình ba buổi làm việc
- Buổi 1: viết giả thuyết và biến bằng ngôn ngữ đo được. Thử viết câu kết quả giả định: “Nhóm A cao hơn nhóm B x điểm”.
- Buổi 2: viết mã phân tích và chạy trên dữ liệu mô phỏng. Đây là cách nhanh nhất để phát hiện kế hoạch còn mơ hồ.
- Buổi 3: nhờ một đồng nghiệp đọc và hỏi “nếu dữ liệu ra thế này thì anh làm gì?”. Mỗi câu bạn trả lời “tuỳ” là một chỗ cần viết thêm.
Kèm mã chạy trên dữ liệu mô phỏng vào bản đăng ký nếu có thể. Người đọc sẽ không phải đoán ý bạn.
Việc tiếp theo: mở mẫu AsPredicted, điền thử tám câu hỏi cho nghiên cứu sắp tới của bạn trong ba mươi phút. Chỗ nào bạn không điền được là chỗ đề cương đang thiếu, bất kể bạn có nộp bản đăng ký hay không.
Câu hỏi thường gặp
Tiền đăng ký có bắt buộc không?
Với thử nghiệm lâm sàng thì gần như bắt buộc. Với các loại nghiên cứu khác, đa số tạp chí khuyến khích chứ không bắt buộc, nhưng ngày càng có nhiều tạp chí và nhà tài trợ ưu tiên nghiên cứu có tiền đăng ký.
Có thể tiền đăng ký sau khi đã thu dữ liệu không?
Có thể, nếu bạn chưa phân tích và khai rõ thời điểm đăng ký so với thời điểm thu dữ liệu. Giá trị bằng chứng sẽ thấp hơn đăng ký trước khi thu.
Registered Reports khác tiền đăng ký thế nào?
Tiền đăng ký là bạn tự lưu kế hoạch. Registered Reports là tạp chí phản biện kế hoạch trước khi có dữ liệu và cam kết đăng bài bất kể kết quả nếu bạn làm đúng kế hoạch.
Tiền đăng ký trên OSF có công khai ngay không?
Không nhất thiết. OSF cho phép khoá kín bản đăng ký trong một thời gian rồi tự công khai, nên ý tưởng của bạn không bị lộ trước khi công bố.
Nghiên cứu định tính có tiền đăng ký được không?
Được. Có mẫu dành cho nghiên cứu định tính, ghi câu hỏi nghiên cứu, cách chọn người tham gia, cách thu và phân tích dữ liệu, cũng như quan điểm của nhà nghiên cứu.
