aedev.net
  • Trang chủ
  • AI
  • Mobile
  • Flutter
  • React Native
  • Backend
  • DevOps
  • Hướng dẫn
No Result
View All Result
SAVED POSTS
aedev.net
  • Trang chủ
  • AI
  • Mobile
  • Flutter
  • React Native
  • Backend
  • DevOps
  • Hướng dẫn
No Result
View All Result
aedev.net
No Result
View All Result
Minh họa các khái niệm AI, mạng nơ-ron và lập trình trên máy tính

Dùng Cohen kappa để rà độ đồng thuận khi gán nhãn

Suong Nguyen by Suong Nguyen
18/11/2026
in AI
0
585
SHARES
3.2k
VIEWS
Summarize with ChatGPTShare to Facebook

Hai người gán nhãn độc lập cho cùng một tập ticket. Khi phần lớn ticket thuộc một nhóm, họ có thể đồng ý rất nhiều đơn giản vì cùng dùng nhóm phổ biến. Cohen kappa điều chỉnh tỷ lệ đồng thuận quan sát được bằng mức kỳ vọng tính từ phân bố nhãn riêng của mỗi người.

Tính từ bảng chéo

Ví dụ giả định 10 ticket với hai nhãn A và B. Cả hai người dùng A tám lần và B hai lần, nhưng mỗi người gán B cho một ticket mà người kia gán A. Bảng chéo có bảy trường hợp cùng A, một trường hợp cùng B và hai trường hợp lệch. Tỷ lệ đồng thuận quan sát là 8/10. Mức kỳ vọng từ hai phân bố là 0,8 nhân 0,8 cộng 0,2 nhân 0,2, bằng 0,68. Kappa là (0,8 − 0,68) chia (1 − 0,68), bằng 0,375.

from fractions import Fraction as F

table = [[7, 1], [1, 1]]
n = sum(map(sum, table))
row = list(map(sum, table))
col = [sum(values) for values in zip(*table)]
observed = F(table[0][0] + table[1][1], n)
expected = sum(F(r * c, n * n) for r, c in zip(row, col))
assert (observed - expected) / (1 - expected) == F(3, 8)

Dùng kết quả để sửa hướng dẫn gán nhãn

Ghép hai lượt gán theo ID ticket trước khi tính. Nếu ghép theo thứ tự file, một dòng bị bỏ có thể làm lệch cả phần còn lại. Lưu bảng chéo và chọn một số ticket từ từng ô bất đồng để đọc lại. Chẳng hạn, nếu hai người thường nhầm hoàn tiền và hủy đơn theo hai hướng, thêm ví dụ phân biệt tình huống khách đã thanh toán với tình huống chỉ đặt hàng. Sau khi sửa hướng dẫn, thử trên mẫu khác để kiểm tra xem quy tắc mới có áp dụng được ngoài nhóm ví dụ vừa thảo luận hay không.

Giới hạn cần ghi trong báo cáo

Kappa đo độ đồng thuận của hai bộ nhãn, nên hai người có thể cùng sai so với quy tắc nghiệp vụ. Báo cả số mẫu, tỷ lệ đồng thuận và phân bố của từng người. Nếu mẫu chỉ có một nhãn được cả hai dùng, kỳ vọng có thể bằng 1 và công thức trên không xác định. Khi đó ghi rõ bộ mẫu thiếu biến thiên và lấy mẫu bổ sung phù hợp với mục tiêu đánh giá. Ví dụ dùng trọng số bằng nhau cho mọi bất đồng. Nhãn có thứ tự như nhẹ, vừa, nặng cần quyết định riêng về việc có dùng trọng số theo mức chênh lệch hay không.

Nếu báo cáo được dùng để so sánh hai đợt, giữ nguyên định nghĩa nhãn, cách chọn mẫu và cách xử lý mục bỏ qua. Tỷ lệ nhãn thay đổi có thể làm kappa đổi ngay cả khi tỷ lệ đồng thuận thô gần như giữ nguyên. Hãy lưu cả hai số để người đọc thấy sự khác biệt.

Nguồn tham khảo

  • Tài liệu chính thức

Tags: Gán nhãnMachine LearningPython
SummarizeShare234
Suong Nguyen

Suong Nguyen

Related Stories

Minh họa các khái niệm AI, mạng nơ-ron và lập trình trên máy tính

Balanced accuracy khi một lớp chiếm phần lớn dữ liệu

by Suong Nguyen
13/11/2026
0

Đọc recall từng lớp trước khi kết luận mô hình phân loại có ích.

Minh họa các khái niệm AI, mạng nơ-ron và lập trình trên máy tính

MAPE: vì sao giá trị thực gần 0 làm sai số phần trăm tăng mạnh?

by Suong Nguyen
12/11/2026
0

Đọc sai số theo từng hàng và đặt quy tắc cho giá trị thực bằng 0 trước khi đưa MAPE lên báo cáo.

Minh họa các khái niệm AI, mạng nơ-ron và lập trình trên máy tính

StandardScaler: hiểu ddof=0 và cách xử lý cột hằng số

by Suong Nguyen
11/11/2026
0

Tự tính một ví dụ chuẩn hóa nhỏ để hiểu mẫu số N, phân biệt độ lệch chuẩn mẫu và xử lý cột không có biến thiên.

Minh họa các khái niệm AI, mạng nơ-ron và lập trình trên máy tính

MAE và RMSE: một sai số lớn có thể đổi cách xếp hạng dự đoán

by Suong Nguyen
10/11/2026
0

Tính MAE và RMSE trên cùng dữ liệu để thấy vì sao hai bộ dự đoán có thể được xếp hạng khác nhau khi xuất hiện một lỗi...

Next Post
Minh họa kiến trúc backend API gọn gàng cho sản phẩm nhỏ

So sánh path.join và path.resolve trong Node.js

0 0 votes
Article Rating
Subscribe
Login
Notify of
guest
guest
0 Comments
Oldest
Newest Most Voted
AE Dev

AE Dev mang đến các bài viết về lập trình, mobile app, backend, frontend, WordPress và công nghệ, phù hợp cho developer muốn học hỏi và cập nhật kiến thức thực tế.

Recent Posts

  • Cài Proxyman trên Windows để test API của app Android
  • Array.with cập nhật một vị trí mà vẫn giữ mảng gốc
  • Điều chỉnh tần suất đọc offset trong React Native ScrollView

Categories

  • AI
  • Backend
  • Đánh giá
  • DevOps
  • Flutter
  • Hướng dẫn
  • Lập trình Mobile
  • Phỏng vấn
  • React Native
  • Uncategorized

Weekly Newsletter

  • Buy JNews
  • Support Forum
  • Pre-sale Question
  • Contact Us

© 2026 AE Dev - Blog công nghệ, lập trình và chia sẻ kiến thức IT.

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In
No Result
View All Result
  • Trang chủ
  • AI
  • Mobile
  • React Native
  • Backend
  • DevOps
  • Hướng dẫn
  • Flutter

© 2026 AE Dev - Blog công nghệ, lập trình và chia sẻ kiến thức IT.

wpDiscuz
0
0
Would love your thoughts, please comment.x
()
x
| Reply