Một nhóm muốn biết báo điện tử đưa tin về giáo dục nghề nghiệp theo hướng tích cực hay tiêu cực. Hai thành viên mỗi người mã 300 bài. Khi so sánh 40 bài trùng nhau, họ chỉ đồng ý ở khoảng hơn một nửa số bài về “giọng điệu”. Một người coi bài đưa tin về học sinh bỏ học nghề là tiêu cực; người kia coi là trung lập vì bài chỉ thuật lại số liệu. Không ai sai, nhưng sổ mã hoá đã không nói họ phải quyết định thế nào.
Phân tích nội dung định lượng (quantitative content analysis) biến văn bản, hình ảnh, video thành dữ liệu đếm được bằng một quy trình mã hoá có hệ thống, để người khác làm lại được và ra kết quả tương tự. Khác với phân tích chủ đề định tính, trọng tâm ở đây là tính nhất quán của việc mã hoá và khả năng khái quát sang tập văn bản lớn hơn.
Khi nào dùng phân tích nội dung định lượng
- Câu hỏi có dạng tần suất, xu hướng, so sánh: bao nhiêu phần trăm bài báo, loại nguồn nào được trích nhiều hơn, thay đổi qua năm năm ra sao.
- Tập văn bản lớn: tin tức, bài đăng mạng xã hội, sách giáo khoa, văn bản chính sách, tin tuyển dụng, tóm tắt bài báo khoa học.
- Các biến có thể định nghĩa đủ rõ để hai người độc lập áp dụng giống nhau.
Nếu điều bạn quan tâm là ý nghĩa tinh tế, ẩn dụ, cách một diễn ngôn được xây dựng, phân tích định tính sẽ hợp hơn. Hai cách có thể kết hợp: đọc định tính một mẫu nhỏ để xây danh mục, rồi mã hoá định lượng trên mẫu lớn.
Đơn vị phân tích và đơn vị mã hoá
Đơn vị lấy mẫu là thứ bạn chọn vào mẫu (số báo, ngày, tài khoản). Đơn vị mã hoá là thứ bạn gán mã (cả bài, từng đoạn, từng câu, từng hình ảnh). Chúng có thể khác nhau. Mã “giọng điệu” cho cả bài là quyết định khác hẳn mã giọng điệu cho từng đoạn rồi tổng hợp. Hãy chọn đơn vị nhỏ nhất đủ để trả lời câu hỏi; đơn vị càng lớn, người mã càng phải phán đoán nhiều và độ tin cậy càng khó đạt.
Chọn mẫu văn bản
Tin tức có nhịp theo ngày trong tuần: chuyên mục giáo dục dày vào đầu tuần, chuyên mục giải trí dày vào cuối tuần. Lấy mẫu ngẫu nhiên đơn giản theo ngày có thể lệch. Kỹ thuật “tuần dựng” (constructed week) chọn ngẫu nhiên một thứ Hai, một thứ Ba, và cứ thế đến Chủ nhật từ các tuần khác nhau trong kỳ, để cân bằng nhịp này. Với mạng xã hội, cần ghi rõ cách thu thập (từ khoá, khoảng thời gian, công cụ), vì thuật toán hiển thị ảnh hưởng mạnh tới những gì bạn thấy.
Ghi nhật ký thu thập: ngày thu, chuỗi tìm kiếm, số kết quả, tiêu chí loại (tin trùng, tin chỉ có ảnh, tin quảng cáo). Đây là phần tương đương sơ đồ dòng chảy trong nghiên cứu khảo sát.
Viết sổ mã hoá: mỗi biến một trang
Sổ mã hoá (codebook) là trái tim của phương pháp. Mỗi biến nên có:
- Tên biến và câu hỏi mà người mã phải trả lời.
- Các giá trị có thể, loại trừ lẫn nhau và bao quát hết (có giá trị “khác” và “không xác định được”).
- Định nghĩa từng giá trị, kèm một ví dụ điển hình và một ví dụ ở ranh giới.
- Quy tắc quyết định cho tình huống khó: “Bài chỉ thuật lại số liệu mà không có đánh giá của phóng viên hay nguồn trích dẫn: mã trung lập, kể cả khi số liệu tiêu cực.”
| Loại biến | Ví dụ | Độ khó mã hoá |
|---|---|---|
| Biểu hiện (manifest) | Bài có trích lời học sinh không; số nguồn được nêu tên | Thấp, dễ đạt đồng thuận |
| Ẩn (latent) | Giọng điệu; khung trách nhiệm (cá nhân hay hệ thống) | Cao, cần quy tắc và huấn luyện kỹ |
Huấn luyện người mã và thử nghiệm
Quy trình quen dùng: người mã đọc sổ mã; cả nhóm mã chung 10–20 văn bản và thảo luận từng bất đồng; sửa sổ mã; mã độc lập một mẫu thử mới; tính độ tin cậy; lặp lại cho đến khi đạt ngưỡng. Mỗi vòng sửa phải được ghi lại. Không dùng văn bản trong các vòng huấn luyện để tính độ tin cậy chính thức.
Độ tin cậy liên người mã
Tỷ lệ đồng ý đơn thuần bị thổi phồng khi một giá trị chiếm đa số: nếu 90% bài báo không trích lời học sinh, hai người đoán bừa “không” cũng đạt đồng ý cao. Vì vậy cần hệ số đã hiệu chỉnh cho đồng ý do ngẫu nhiên:
- Cohen’s kappa: hai người mã, biến định danh.
- Krippendorff’s alpha: nhiều người mã, xử lý được dữ liệu thiếu và nhiều mức đo; được dùng rộng rãi trong nghiên cứu truyền thông.
Ngưỡng hay được dẫn là alpha từ 0,80 trở lên cho kết luận chắc chắn, và từ 0,667 cho kết luận thăm dò; nhiều tạp chí có yêu cầu riêng. Tính cho từng biến, không gộp trung bình. Mẫu kiểm tra độ tin cậy thường khoảng 10–20% tập văn bản, lấy ngẫu nhiên, và phải chứa đủ các giá trị hiếm. Biến nào không đạt ngưỡng sau nhiều vòng sửa thì bỏ hoặc gộp giá trị, và báo cáo điều này.
Mã hoá chính thức và quản lý dữ liệu
- Nhập mã vào biểu mẫu có danh sách thả xuống thay vì gõ tay, để tránh lỗi chính tả thành giá trị mới.
- Lưu mã định danh văn bản, người mã và ngày mã cho mỗi dòng.
- Kiểm tra độ tin cậy lặp lại giữa kỳ nếu quá trình mã hoá kéo dài nhiều tuần, vì người mã trôi dần khỏi quy tắc.
- Giữ bản lưu văn bản gốc (hoặc đường dẫn lưu trữ) vì tin trên mạng có thể bị sửa hoặc gỡ.
Báo cáo trong bài
Phần phương pháp cần nêu: tập văn bản và cách chọn mẫu, đơn vị mã hoá, số người mã và cách huấn luyện, hệ số độ tin cậy cho từng biến kèm cỡ mẫu kiểm tra, cách giải quyết bất đồng trong mã hoá chính thức. Đưa sổ mã hoá đầy đủ vào phụ lục hoặc kho dữ liệu mở. Nếu dùng công cụ tự động hỗ trợ (phân loại bằng máy), phải báo cáo độ khớp giữa máy và người mã trên một mẫu kiểm tra, như với hai người mã.
Việc nên làm trước khi mã bài đầu tiên: chọn biến khó nhất trong sổ mã, viết ra năm văn bản ở ranh giới mà bạn nghĩ người khác sẽ mã khác mình, và viết quy tắc quyết định cho từng trường hợp. Những quy tắc đó sẽ tiết kiệm cho bạn vài vòng thử nghiệm.
Câu hỏi thường gặp
Phân tích nội dung định lượng là gì?
Là phương pháp mã hoá có hệ thống văn bản, hình ảnh hoặc video thành dữ liệu đếm được theo một sổ mã hoá cố định, để phân tích tần suất, xu hướng và so sánh. Quy trình phải đủ rõ để người khác làm lại và ra kết quả tương tự.
Phân tích nội dung khác phân tích chủ đề thế nào?
Phân tích nội dung định lượng dùng danh mục định sẵn và chú trọng tính nhất quán giữa người mã để đếm và so sánh. Phân tích chủ đề định tính xây chủ đề từ dữ liệu và tập trung vào ý nghĩa, không nhằm đếm tần suất.
Độ tin cậy liên người mã bao nhiêu là đạt?
Ngưỡng hay được dẫn là Krippendorff’s alpha từ 0,80 cho kết luận chắc chắn và từ 0,667 cho kết luận thăm dò. Nên tính cho từng biến và kiểm tra yêu cầu riêng của tạp chí bạn định nộp.
Nên dùng Cohen’s kappa hay Krippendorff’s alpha?
Cohen’s kappa phù hợp với hai người mã và biến định danh. Krippendorff’s alpha linh hoạt hơn: dùng được cho nhiều người mã, nhiều mức đo và dữ liệu có ô trống.
Cần bao nhiêu văn bản để kiểm tra độ tin cậy?
Thường khoảng 10 đến 20 phần trăm tập văn bản, chọn ngẫu nhiên và phải có đủ các giá trị hiếm. Không dùng văn bản đã qua các vòng huấn luyện cho phép kiểm tra chính thức.
