Một ticket có thể vừa liên quan thanh toán vừa cần hỗ trợ giao hàng. Khi mô hình trả một tập nhãn, phép so sánh đúng hoàn toàn sẽ coi mọi khác biệt như nhau. Để nhìn mức độ trùng nhau giữa hai tập nhãn, bạn có thể bổ sung Jaccard vào báo cáo đánh giá. Bài này dùng Python chuẩn để làm rõ cách tính, không cần cài mô hình.
Từ hai tập nhãn đến một điểm
Jaccard lấy số nhãn chung chia cho số nhãn xuất hiện trong ít nhất một tập. Nếu nhãn chuẩn là thanh toán và giao hàng, còn dự đoán là thanh toán và hoàn tiền, phần giao có một nhãn, phần hợp có ba nhãn. Điểm là 1/3. Cách tính này cho bạn thấy cả nhãn bỏ sót lẫn nhãn dự đoán thừa đều ảnh hưởng đến mẫu đang xét.
from fractions import Fraction
def jaccard(truth, predicted):
union = truth | predicted
if not union:
return None
return Fraction(len(truth & predicted), len(union))
assert jaccard({"pay", "ship"}, {"pay", "refund"}) == Fraction(1, 3)
assert jaccard({"pay"}, {"pay"}) == 1
assert jaccard({"pay"}, set()) == 0
assert jaccard(set(), set()) is None
Quyết định cách gộp trước khi so sánh
Ví dụ trả None khi cả hai tập rỗng để buộc người dùng hàm quyết định chính sách. Với dữ liệu thật, hãy ghi rõ mẫu rỗng được tính là đồng thuận hay bị loại khỏi trung bình. Nếu dùng scikit-learn, kiểm tra tham số average và zero_division thay vì chỉ gọi với mặc định. Đối với multilabel, trung bình theo mẫu trả lời câu hỏi khác với việc cộng giao và hợp trên toàn bộ mẫu. Một ticket có nhiều nhãn có thể đóng góp khác nhau tùy phép gộp.
Hãy tạo fixture gồm một mẫu đúng hoàn toàn, một mẫu thừa nhãn, một mẫu bỏ sót và một mẫu rỗng. Lưu cả điểm từng mẫu bên cạnh điểm tổng để kiểm tra bộ gộp. Nhãn nên dùng ID ổn định. Nếu dữ liệu vừa chứa “thanh toán” vừa chứa “Thanh toán”, chuẩn hóa theo từ điển trước khi chuyển thành tập.
Dùng điểm để đọc lỗi
Sắp ticket theo điểm tăng dần và đọc cả nội dung gốc lẫn hướng dẫn gán nhãn. Nếu mô hình hay thêm nhãn hoàn tiền chỉ vì ticket có từ “tiền”, bổ sung ví dụ phân biệt yêu cầu hoàn tiền với hỏi trạng thái thanh toán. Giữ tập đánh giá độc lập khi sửa prompt hoặc mô hình.
Jaccard không phản ánh mức độ nghiêm trọng riêng của từng nhãn. Với nhãn liên quan xử lý khẩn cấp, báo thêm recall của chính nhãn đó. Điểm của hai hệ thống chỉ so sánh được khi dùng cùng tập mẫu, bộ nhãn và quy tắc gộp. Ví dụ Python minh họa phép tính tập hợp, không phải kết quả đánh giá một mô hình đang vận hành.


