Một hệ thống gán 20 nhãn cho ticket thực hiện 20 quyết định có hoặc không trên mỗi mẫu. Nếu mỗi ticket chỉ có một nhãn dương, việc dự đoán tất cả là âm vẫn có thể cho tỷ lệ sai thấp. Hamming loss đo phần quyết định sai trên toàn bộ các vị trí nhãn, vì vậy cần đọc nó cùng phân bố nhãn và recall.
Tính trên một ma trận nhỏ
Ví dụ Python chuẩn dùng hai ticket và ba nhãn. Mỗi hàng ứng với cùng một ticket, mỗi cột giữ cùng ý nghĩa ở cả nhãn chuẩn và dự đoán. Có một vị trí sai trên sáu quyết định nên loss là 1/6.
from fractions import Fraction
truth = [[1, 0, 0], [0, 1, 0]]
predicted = [[1, 0, 0], [0, 0, 0]]
assert len(truth) == len(predicted)
assert all(len(a) == len(b) == 3 for a, b in zip(truth, predicted))
wrong = sum(x != y for a, b in zip(truth, predicted) for x, y in zip(a, b))
assert Fraction(wrong, 6) == Fraction(1, 6)
Chọn điểm đối chứng
Tạo baseline dự đoán toàn âm trên chính tập đánh giá. So sánh loss của mô hình với baseline, rồi kiểm tra recall theo từng nhãn. Nếu mô hình bỏ sót nhãn khẩn cấp, loss tổng có thể chỉ đổi ít vì cột đó hiếm xuất hiện. Báo số mẫu dương của từng nhãn để người đọc hiểu mức chắc chắn của kết quả.
Đầu vào cần cùng thứ tự cột và cùng tập ticket. Một lỗi ghép ID có thể tạo điểm tưởng như mô hình kém dù thực chất dữ liệu bị lệch. Khi chuyển xác suất thành nhãn, lưu ngưỡng của mỗi cột cùng báo cáo. Đổi ngưỡng làm thay đổi tập quyết định đang được đo.
Kiểm tra các ca biên
Thêm một mẫu đúng toàn bộ, một mẫu sai một nhãn và một mẫu sai tất cả. Ca một mẫu đúng dùng để xác nhận loss bằng 0. Ca sai toàn bộ cần cho loss bằng 1. Nếu bộ dữ liệu có hàng thiếu, kiểm tra cách xử lý trước khi đưa vào trung bình. Đừng tự thay thiếu bằng âm nếu nghiệp vụ còn chưa biết nhãn đó.
Với scikit-learn, đối chiếu định dạng chỉ báo multilabel và trọng số mẫu trong phiên bản dự án đang dùng. Ví dụ ở đây diễn giải phép tính bằng Python để dễ review. Nó không phải kết quả đo một mô hình production. Khi dùng trong quyết định phát hành, báo thêm những lỗi có ảnh hưởng nghiệp vụ và cách lấy mẫu đánh giá.
Nếu dùng trọng số mẫu, lưu trọng số trong bộ dữ liệu đánh giá và kiểm tra một mẫu được nhân trọng số có đóng góp đúng vào tổng hay không. Tránh so hai báo cáo khi chỉ một báo cáo đã dùng trọng số mà tên chỉ số vẫn giống nhau.

