Hai luận văn cùng nghiên cứu “năng lực số của giáo viên phổ thông”. Luận văn thứ nhất đo bằng số giờ giáo viên dùng máy tính mỗi tuần. Luận văn thứ hai đo bằng việc giáo viên có tự thiết kế được một bài kiểm tra trực tuyến có phản hồi tự động hay không. Kết luận của hai bài trái ngược nhau, và cả hai đều đúng với cách đo của mình. Vấn đề không nằm ở thống kê mà ở bước vận hành hoá.
Vận hành hoá (operationalisation) là quá trình biến một khái niệm trừu tượng thành những thao tác đo cụ thể. Nó là cây cầu giữa lý thuyết và dữ liệu. Cầu hỏng thì phân tích tinh vi đến đâu cũng chỉ trả lời một câu hỏi khác với câu bạn đặt ra.
Bốn tầng từ khái niệm đến con số
| Tầng | Câu hỏi cần trả lời | Ví dụ với “năng lực số của giáo viên” |
|---|---|---|
| Khái niệm và định nghĩa | Tôi hiểu khái niệm này là gì, theo khung nào? | Khả năng sử dụng công nghệ số một cách có chủ đích để dạy học, đánh giá và phát triển nghề nghiệp |
| Chiều | Khái niệm gồm những mặt nào? | Tìm và đánh giá tài nguyên số; tạo nội dung; đánh giá người học bằng công cụ số; bảo vệ dữ liệu học sinh |
| Chỉ báo | Dấu hiệu quan sát được của mỗi chiều? | Tự tạo được bài kiểm tra trực tuyến; biết đặt quyền chia sẻ tài liệu cho đúng đối tượng |
| Cách ghi nhận | Thu dữ liệu bằng gì, ghi thành giá trị nào? | Bài thực hành chấm theo thang tiêu chí 0–3; câu tự đánh giá thang năm mức |
Nhảy thẳng từ tầng một xuống tầng bốn, tức là đi tìm ngay một bảng hỏi có sẵn, là con đường ngắn nhất dẫn tới việc đo nhầm khái niệm.
Tầng một: viết định nghĩa làm việc
Đừng mở bằng định nghĩa từ điển. Định nghĩa làm việc phải đủ hẹp để đo được và phải chọn phe khi các tác giả bất đồng. Với nhiều khái niệm trong giáo dục và xã hội, có ba đến năm cách hiểu cạnh tranh trong tài liệu. Hãy liệt kê chúng, nói rõ bạn theo cách nào và vì sao cách đó hợp với câu hỏi của bạn.
Một phép thử hữu ích: đưa định nghĩa cho một đồng nghiệp và hỏi “theo định nghĩa này, một người như thế nào thì điểm cao, người như thế nào thì điểm thấp?” Nếu họ không trả lời được, định nghĩa còn quá mơ hồ.
Tầng hai: tách chiều và quyết định có gộp hay không
Hầu hết khái niệm đáng nghiên cứu có nhiều chiều. Điều cần quyết định là các chiều đó có được cộng lại thành một điểm tổng hay phải phân tích riêng. Hai giáo viên cùng điểm tổng 12 có thể một người rất giỏi tạo nội dung nhưng không biết gì về bảo vệ dữ liệu, người kia ngược lại. Nếu câu hỏi của bạn liên quan đến an toàn dữ liệu, điểm tổng sẽ che mất đúng điều bạn cần.
Cũng cần phân biệt hai kiểu quan hệ giữa chỉ báo và khái niệm. Kiểu phản ánh (reflective): khái niệm gây ra các biểu hiện, như lo âu làm tim đập nhanh và khó ngủ, nên các chỉ báo thường tương quan với nhau. Kiểu cấu thành (formative): các chỉ báo tạo nên khái niệm, như thu nhập, học vấn và nghề nghiệp tạo nên vị thế kinh tế – xã hội; chúng không nhất thiết tương quan, và bỏ một chỉ báo là thay đổi chính khái niệm. Dùng Cronbach’s alpha để đánh giá một chỉ số cấu thành là một lỗi quen thuộc.
Tầng ba: chọn chỉ báo
Một chỉ báo tốt có ba đặc điểm: gắn trực tiếp với định nghĩa, thay đổi khi khái niệm thay đổi, và ít bị ảnh hưởng bởi những thứ không liên quan. Kiểm tra từng chỉ báo bằng câu hỏi: “Có ai điểm cao ở chỉ báo này mà thực ra thấp ở khái niệm không?” Số giờ dùng máy tính trượt phép thử này ngay: giáo viên có thể dùng máy tính mười giờ một tuần chỉ để nhập điểm.
Với mỗi chiều, nên có ít nhất hai hoặc ba chỉ báo. Một chỉ báo duy nhất thì mọi sai số của nó trở thành sai số của cả chiều.
Tầng bốn: cách ghi nhận và mức đo
- Tự báo cáo: rẻ, nhanh, nhưng đo niềm tin về năng lực nhiều hơn năng lực thật. Người kém nhất thường tự đánh giá quá cao nhất.
- Bài thực hành hoặc tình huống: sát năng lực hơn, tốn thời gian, cần thang tiêu chí chấm và người chấm thứ hai.
- Dữ liệu hành vi hoặc hồ sơ: nhật ký hệ thống học tập, sản phẩm thật; khách quan nhưng cần xin phép và dễ thiếu bối cảnh.
Quyết định mức đo từ trước: định danh, thứ bậc, khoảng hay tỷ lệ. Gom tuổi thành nhóm ngay khi thu dữ liệu là mất thông tin vĩnh viễn; thu giá trị gốc rồi nhóm sau luôn làm được.
Biến thay thế: tiện nhưng nguy hiểm
Khi không đo được trực tiếp, người ta dùng biến thay thế (proxy): số bài báo thay cho năng suất nghiên cứu, điểm thi đầu vào thay cho năng lực học tập, có máy tính ở nhà thay cho điều kiện học tập. Biến thay thế chấp nhận được khi bạn chứng minh được nó liên quan chặt với khái niệm trong đúng bối cảnh của bạn, và khi bạn thừa nhận khoảng cách giữa hai thứ trong phần hạn chế. Nó không chấp nhận được khi chính biến thay thế có thể bị tác động bởi biến độc lập theo đường khác.
Kiểm tra độ giá trị nội dung trước khi thu dữ liệu
- Lập ma trận: dòng là chỉ báo, cột là chiều. Mỗi chiều phải có chỉ báo; không chỉ báo nào đứng ngoài mọi chiều.
- Mời ba đến năm chuyên gia đánh giá mức độ liên quan của từng chỉ báo với chiều, theo thang bốn mức. Tính tỷ lệ chuyên gia cho điểm 3 hoặc 4 ở mỗi chỉ báo.
- Phỏng vấn nhận thức với vài người thuộc nhóm đối tượng: họ hiểu từng câu hỏi thế nào, nghĩ gì khi chọn câu trả lời.
- Sửa, rồi mới thử nghiệm độ tin cậy trên mẫu thí điểm.
Viết phần vận hành hoá trong bài
Một bảng bốn cột (khái niệm, chiều, chỉ báo, cách đo và nguồn) trong chương phương pháp giúp hội đồng thấy ngay chuỗi lập luận. Kèm theo, một đoạn ngắn giải thích những gì bạn cố ý không đo và vì sao. Điều đó cho thấy bạn đã cân nhắc, không phải bỏ sót.
Việc nên làm ngay: lấy khái niệm trung tâm của đề tài, điền bảng bốn tầng ở đầu bài cho nó, rồi áp phép thử “có ai điểm cao ở chỉ báo này mà thực ra thấp ở khái niệm không” cho từng dòng. Những dòng trượt phép thử cần được thay trước khi bạn in phiếu.
Câu hỏi thường gặp
Vận hành hoá khái niệm là gì?
Là quá trình biến một khái niệm trừu tượng thành các thao tác đo cụ thể: viết định nghĩa làm việc, tách chiều, chọn chỉ báo và quyết định cách ghi nhận dữ liệu. Nó quyết định con số bạn thu được có phản ánh đúng khái niệm hay không.
Khác nhau giữa khái niệm, biến và chỉ báo là gì?
Khái niệm là ý tưởng trừu tượng như năng lực số. Chỉ báo là dấu hiệu quan sát được của khái niệm. Biến là cách chỉ báo được ghi nhận thành giá trị trong bộ dữ liệu.
Có nên dùng thang đo có sẵn thay vì tự vận hành hoá không?
Dùng thang đo đã được kiểm chứng thường tốt hơn, nhưng chỉ khi định nghĩa của thang đo khớp với định nghĩa của bạn và phù hợp với bối cảnh người tham gia. Vẫn cần đi qua các tầng vận hành hoá để kiểm tra sự khớp đó.
Chỉ báo phản ánh và chỉ báo cấu thành khác nhau thế nào?
Với chỉ báo phản ánh, khái niệm gây ra các biểu hiện nên các chỉ báo thường tương quan với nhau. Với chỉ báo cấu thành, các chỉ báo tạo nên khái niệm, không nhất thiết tương quan, và không nên đánh giá bằng Cronbach’s alpha.
Biến thay thế (proxy) là gì và khi nào được dùng?
Là biến đo gián tiếp khi không đo được khái niệm trực tiếp, ví dụ số bài báo thay cho năng suất nghiên cứu. Chỉ nên dùng khi có bằng chứng nó liên quan chặt với khái niệm trong bối cảnh của bạn và phải nêu rõ giới hạn.
