Một mô hình phân loại ticket cần phát hiện trường hợp cần hỗ trợ khẩn cấp. Accuracy có thể cao khi lớp thường chiếm đa số, trong khi lớp khẩn cấp bị bỏ sót. Matthews correlation coefficient, viết tắt MCC, là một chỉ số bổ sung sử dụng cả bốn loại kết quả của phân loại nhị phân.
Tính bằng dữ liệu nhỏ
Ví dụ Python chuẩn đặt số đếm giả lập với TP và TN bằng 8, FP và FN bằng 2. Công thức nhị phân lấy TP nhân TN trừ FP nhân FN, rồi chia căn tích các tổng biên. Điểm trong ví dụ là 0,6.
from math import sqrt, isclose
def binary_mcc(tp, tn, fp, fn):
denominator = sqrt((tp + fp) * (tp + fn) * (tn + fp) * (tn + fn))
if denominator == 0:
return None
return (tp * tn - fp * fn) / denominator
assert isclose(binary_mcc(8, 8, 2, 2), 0.6)
assert binary_mcc(5, 5, 0, 0) == 1
assert binary_mcc(0, 0, 5, 5) == -1
assert binary_mcc(0, 10, 0, 0) is None
Diễn giải cùng các ô lỗi
MCC nằm trong khoảng từ -1 tới 1 khi công thức xác định. Đúng hoàn toàn cho 1, đảo nhãn hoàn toàn cho -1. Giá trị gần 0 cần được đọc cùng bảng chéo và thiết kế lấy mẫu để hiểu khả năng phân loại. Không suy ra từ một điểm rằng mô hình sẽ phù hợp mọi nhóm người dùng.
Giữ TP, TN, FP và FN trong báo cáo. Nếu một false negative khẩn cấp có chi phí lớn hơn nhiều false positive, đặt ngưỡng hoặc tiêu chí phát hành riêng cho recall lớp đó. Hai mô hình có thể có điểm tổng tương tự nhưng tạo lỗi ở những ticket rất khác.
Kiểm tra đầu vào trước khi gộp
Dùng ID để ghép nhãn dự đoán với nhãn chuẩn. Cố định nhãn dương trong mã đánh giá và kiểm tra một ví dụ biết trước để tránh đảo ý nghĩa hai lớp. Khi chuyển xác suất thành nhãn, ghi ngưỡng vào kết quả kiểm thử. Nếu thay ngưỡng, số đếm và MCC cũng đổi.
Ví dụ trả None khi mẫu số bằng 0 để gọi chú ý tới tập dữ liệu suy biến. Khi dùng scikit-learn, đối chiếu hành vi hàm trong phiên bản đang cài và báo rõ quy ước đó. Đừng thay None bằng một giá trị đẹp hơn rồi bỏ qua lý do.
MCC hỗ trợ đọc chất lượng tổng hợp. Quyết định đưa vào sản phẩm vẫn cần bộ mẫu đại diện, số mẫu theo nhóm và rà lỗi có ảnh hưởng nghiệp vụ. Các con số trong bài là fixture tính toán, không phải kết quả thử một hệ thống thật.
Khi báo cáo có trọng số mẫu, lưu trọng số cùng tập đánh giá để lần chạy sau tái hiện được. Đừng so trực tiếp điểm của hai lượt dùng hai cách lấy mẫu hoặc hai bộ trọng số khác nhau mà không nêu sự thay đổi.

