Hai người gán nhãn độc lập cho cùng một tập ticket. Khi phần lớn ticket thuộc một nhóm, họ có thể đồng ý rất nhiều đơn giản vì cùng dùng nhóm phổ biến. Cohen kappa điều chỉnh tỷ lệ đồng thuận quan sát được bằng mức kỳ vọng tính từ phân bố nhãn riêng của mỗi người.
Tính từ bảng chéo
Ví dụ giả định 10 ticket với hai nhãn A và B. Cả hai người dùng A tám lần và B hai lần, nhưng mỗi người gán B cho một ticket mà người kia gán A. Bảng chéo có bảy trường hợp cùng A, một trường hợp cùng B và hai trường hợp lệch. Tỷ lệ đồng thuận quan sát là 8/10. Mức kỳ vọng từ hai phân bố là 0,8 nhân 0,8 cộng 0,2 nhân 0,2, bằng 0,68. Kappa là (0,8 − 0,68) chia (1 − 0,68), bằng 0,375.
from fractions import Fraction as F
table = [[7, 1], [1, 1]]
n = sum(map(sum, table))
row = list(map(sum, table))
col = [sum(values) for values in zip(*table)]
observed = F(table[0][0] + table[1][1], n)
expected = sum(F(r * c, n * n) for r, c in zip(row, col))
assert (observed - expected) / (1 - expected) == F(3, 8)
Dùng kết quả để sửa hướng dẫn gán nhãn
Ghép hai lượt gán theo ID ticket trước khi tính. Nếu ghép theo thứ tự file, một dòng bị bỏ có thể làm lệch cả phần còn lại. Lưu bảng chéo và chọn một số ticket từ từng ô bất đồng để đọc lại. Chẳng hạn, nếu hai người thường nhầm hoàn tiền và hủy đơn theo hai hướng, thêm ví dụ phân biệt tình huống khách đã thanh toán với tình huống chỉ đặt hàng. Sau khi sửa hướng dẫn, thử trên mẫu khác để kiểm tra xem quy tắc mới có áp dụng được ngoài nhóm ví dụ vừa thảo luận hay không.
Giới hạn cần ghi trong báo cáo
Kappa đo độ đồng thuận của hai bộ nhãn, nên hai người có thể cùng sai so với quy tắc nghiệp vụ. Báo cả số mẫu, tỷ lệ đồng thuận và phân bố của từng người. Nếu mẫu chỉ có một nhãn được cả hai dùng, kỳ vọng có thể bằng 1 và công thức trên không xác định. Khi đó ghi rõ bộ mẫu thiếu biến thiên và lấy mẫu bổ sung phù hợp với mục tiêu đánh giá. Ví dụ dùng trọng số bằng nhau cho mọi bất đồng. Nhãn có thứ tự như nhẹ, vừa, nặng cần quyết định riêng về việc có dùng trọng số theo mức chênh lệch hay không.
Nếu báo cáo được dùng để so sánh hai đợt, giữ nguyên định nghĩa nhãn, cách chọn mẫu và cách xử lý mục bỏ qua. Tỷ lệ nhãn thay đổi có thể làm kappa đổi ngay cả khi tỷ lệ đồng thuận thô gần như giữ nguyên. Hãy lưu cả hai số để người đọc thấy sự khác biệt.


