Một nhóm nghiên cứu giáo dục có 20.000 ý kiến phản hồi tự do của sinh viên về các học phần trực tuyến. Mã hoá thủ công sẽ mất nhiều tháng. Họ viết một câu lệnh yêu cầu trợ lý AI tạo sinh gán mỗi ý kiến vào một trong năm nhóm: nội dung, giảng viên, nền tảng kỹ thuật, khối lượng học tập, khác. Chỉ trong một buổi chiều, họ có biến mới để đưa vào mô hình hồi quy. Người phản biện hỏi một câu duy nhất: “Làm sao các tác giả biết nhãn của máy đo đúng điều họ muốn đo?”
Đó là câu hỏi đúng. Khi đầu ra của mô hình ngôn ngữ trở thành biến trong phân tích, mô hình đang đóng vai một công cụ đo, giống bảng hỏi hay người mã hoá. Và công cụ đo thì phải được kiểm định.
Những việc mô hình ngôn ngữ đang được dùng để đo
- Phân loại chủ đề của ý kiến, bài đăng, văn bản chính sách.
- Gán cảm xúc, thái độ, lập trường.
- Nhận diện đặc điểm trong bài luận (có luận điểm rõ không, có dẫn chứng không).
- Trích xuất thông tin có cấu trúc từ văn bản dài (ngày, số tiền, tên tổ chức).
Với mọi ứng dụng trên, câu hỏi kiểm định đều giống nhau: nhãn có ổn định không, có đúng không, và có sai lệch có hệ thống với nhóm nào không.
Bước 1: xây tập chuẩn do người mã hoá
Không có tập chuẩn thì không kiểm định được gì. Quy trình tối thiểu:
- Viết sổ mã với định nghĩa, ví dụ đúng, ví dụ biên cho mỗi nhãn, như khi huấn luyện người mã hoá.
- Rút ngẫu nhiên một mẫu, chẳng hạn 500 văn bản; với nhãn hiếm, lấy thêm mẫu có chủ đích để đủ ví dụ.
- Hai người mã hoá độc lập, tính độ đồng thuận giữa họ, thảo luận để thống nhất nhãn cuối.
- Chia tập chuẩn: một phần để thử câu lệnh, một phần giữ kín chỉ dùng để đánh giá cuối.
Độ đồng thuận giữa hai người là trần tham chiếu: nếu hai chuyên gia chỉ đồng ý ở mức vừa phải, đừng kỳ vọng máy làm tốt hơn nhiều, và nên xem lại định nghĩa nhãn. Một lỗi hay gặp là dùng chính những văn bản đã thử đi thử lại câu lệnh để báo cáo độ chính xác: câu lệnh đã được “may đo” cho chúng, nên con số sẽ đẹp hơn thực tế. Tập giữ kín tồn tại để tránh đúng điều này.
Bước 2: chọn chỉ số đánh giá phù hợp
| Chỉ số | Cho biết | Lưu ý |
|---|---|---|
| Độ chính xác tổng (accuracy) | Tỷ lệ văn bản gán đúng | Dễ gây ảo tưởng khi nhãn lệch; nhãn chiếm 80% thì đoán bừa cũng được 80% |
| Precision, recall theo từng nhãn | Nhãn nào máy hay gán nhầm, nhãn nào hay bỏ sót | Quan trọng nhất với nhãn hiếm |
| F1 trung bình theo nhãn | Tổng hợp cân bằng giữa các nhãn | Nên báo kèm từng nhãn |
| Cohen’s kappa hoặc Krippendorff’s alpha | Đồng thuận có hiệu chỉnh ngẫu nhiên, so được với đồng thuận giữa người | Báo song song với đồng thuận người–người |
| Ma trận nhầm lẫn | Máy nhầm nhãn nào thành nhãn nào | Giúp sửa định nghĩa và câu lệnh |
Bước 3: kiểm độ nhạy với câu lệnh
Một công cụ đo tốt không đổi kết quả khi bạn diễn đạt câu hỏi hơi khác. Hãy thử:
- Hai ba cách viết câu lệnh cùng nội dung, đổi thứ tự các nhãn.
- Có và không có ví dụ minh hoạ trong câu lệnh.
- Chạy lại cùng câu lệnh nhiều lần với cùng dữ liệu (kể cả khi đặt tham số ngẫu nhiên thấp).
Nếu tỷ lệ các nhãn trong toàn bộ dữ liệu thay đổi đáng kể giữa các biến thể, kết luận dựa trên các tỷ lệ đó rất mong manh. Báo cáo mức dao động này là một điểm cộng trong mắt người phản biện.
Bước 4: kiểm sai lệch có hệ thống
Độ chính xác tổng cao vẫn có thể che một vấn đề: máy đo kém hơn với một nhóm cụ thể. Ví dụ, ý kiến viết bằng tiếng địa phương, không dấu, lẫn tiếng Anh, hay ý kiến rất ngắn. Tính các chỉ số riêng cho từng nhóm quan trọng trong câu hỏi nghiên cứu. Nếu bạn định so sánh sinh viên hai khu vực, mà máy gán nhãn kém chính xác hơn với cách viết của một khu vực, sự khác biệt bạn tìm thấy có thể chỉ là sai số đo.
Bước 5: đảm bảo tái lập
- Ghi tên và phiên bản mô hình chính xác, ngày chạy, các tham số.
- Lưu nguyên văn câu lệnh và toàn bộ đầu ra thô, không chỉ nhãn cuối.
- Nhà cung cấp có thể cập nhật hoặc ngừng mô hình; một năm sau chạy lại có thể ra kết quả khác. Đầu ra đã lưu là dữ liệu của bạn, hãy lưu trữ như dữ liệu gốc.
- Cân nhắc mô hình có trọng số mở chạy cục bộ nếu tái lập lâu dài là yêu cầu quan trọng, hoặc nếu dữ liệu nhạy cảm không được gửi ra ngoài.
Đạo đức và dữ liệu
Ý kiến sinh viên, bài đăng, hồ sơ thường chứa thông tin cá nhân. Kiểm tra hồ sơ đạo đức có cho phép xử lý bằng dịch vụ bên ngoài không, ẩn danh trước khi gửi, và ưu tiên công cụ có cam kết không dùng dữ liệu để huấn luyện.
Báo cáo trong bài
Phần phương pháp nên có: mô hình và phiên bản, câu lệnh đầy đủ (trong phụ lục), cách xây tập chuẩn, đồng thuận người–người, các chỉ số của máy trên tập giữ kín theo từng nhãn, kết quả kiểm độ nhạy câu lệnh và sai lệch theo nhóm. Và một câu thẳng thắn về giới hạn: sai số đo từ máy ảnh hưởng thế nào tới các ước lượng phía sau. Một số nhóm còn chạy lại phân tích chính trên tập chuẩn do người gán để xem kết luận có giữ nguyên không, cách kiểm này rất thuyết phục.
Nếu bạn định dùng mô hình ngôn ngữ để gán nhãn cho dữ liệu của mình, hãy bắt đầu bằng sổ mã và 200 văn bản do chính bạn mã hoá, trước khi viết dòng câu lệnh đầu tiên. Không có bước đó, bạn sẽ không bao giờ biết con số trong bảng kết quả đang đo cái gì.
Câu hỏi thường gặp
Có được dùng mô hình ngôn ngữ lớn để gán nhãn dữ liệu nghiên cứu không?
Được, nếu bạn kiểm định nó như một công cụ đo: so với tập chuẩn do người mã hoá, báo cáo các chỉ số theo từng nhãn, kiểm độ nhạy câu lệnh, sai lệch theo nhóm và lưu đầy đủ đầu ra để tái lập.
Cần bao nhiêu văn bản do người mã hoá để kiểm định?
Không có con số cố định; vài trăm văn bản ngẫu nhiên là điểm khởi đầu phổ biến, cộng thêm mẫu có chủ đích cho nhãn hiếm. Quan trọng là có phần giữ kín chỉ dùng để đánh giá cuối.
Nên dùng chỉ số nào để đánh giá phân loại của AI?
Báo precision, recall và F1 theo từng nhãn, kèm Cohen’s kappa hoặc Krippendorff’s alpha để so với đồng thuận giữa người. Độ chính xác tổng dễ gây ảo tưởng khi nhãn phân bố lệch.
Làm sao đảm bảo tái lập khi mô hình AI được cập nhật?
Ghi chính xác mô hình, phiên bản, ngày chạy và tham số, lưu nguyên câu lệnh và toàn bộ đầu ra thô như dữ liệu gốc. Có thể cân nhắc mô hình mở chạy cục bộ.
Kết quả phân loại của AI có thể sai lệch theo nhóm không?
Có. Máy có thể đo kém hơn với văn bản không dấu, phương ngữ, lẫn ngôn ngữ hoặc rất ngắn. Hãy tính chỉ số riêng cho các nhóm liên quan tới câu hỏi nghiên cứu.
