重算质检错率
如果抽检样本分母与分层错率结果缺少真实来源、版本和决定权限，训练数据、标注质量或模型评测将无法复现和审计。
有人这样说「这版错率报表得重算，上回被领导说没来源，真头疼。」
能替你选的都选好了。不想动，直接点下面「交给 AI 办」，点一下就开始做；想改，就点一下要的那个。
已替你选好想改就点一下
更多选项（一般不用动）
只有你知道的不填就先空着，成品里留【待填】
还想怎么改可以不选
开工前请确认
高级选项一般不用动 · 这件事通常 1–3 分钟做好
示例成品全文按上面这组示例选项真跑出来的
数据没贴出来，我不硬编结果。先把口径、来源字段、公式、报表模板定死，你原始数据一来就能直接跑出“有来源、能复核”的错率报表。
一、这次错率怎么算（先定口径，别再来回改）
1）分母：应评样本数 N
- 指定“模型迭代版本”范围内，派发给该标注员的样本数。
- 排除：已作废任务。
- 未提交/未完成样本：计入分母，按“漏标”处理。
- 如果你们规定“未完成不算错”，那就排除未提交样本，但必须在报表来源说明里写清楚。
2）分子：错误样本数 E
- 一个样本只要出现至少一种错误，就算 1 个错误样本。
- 同一个样本同时有漏标、错标、格式错，也只算 1 个“错误样本”，但在错误类型列里分别计 1。
3）错误类型定义
| 错误类型 | 判定口径 |
|---|---|
| 漏标 | 标准答案有标签，但标注结果为空/未提交 |
| 错标 | 标准答案有标签，标注结果有值，但和标准答案不一致 |
| 格式错 | 字段缺失、字段错位、无法解析 |
4）分层加权汇总
- 总错率 = 各分层错误样本数之和 / 各分层应评样本数之和。
- 不要简单平均各标注员错率。
示例：
- 标注员 A：100 条，错 5 条，错率 5%
- 标注员 B：20 条，错 2 条，错率 10%
- 两人整体错率 =（5+2）/（100+20）= 5.83%
- 不是（5%+10%）/2 = 7.5%
二、原始表必须有的字段
这张表是“来源”，领导再问，就给他看这张明细。
| 字段名 | 说明 |
|---|---|
| model_version | 模型迭代版本 |
| sample_id | 样本 ID |
| task_id | 任务 ID |
| annotator_id | 标注员 |
| task_status | 任务状态，用于排除作废 |
| gold_label | 标准标签 |
| annotated_label | 标注结果 |
| format_error_flag | 格式错标记，1 或“是”表示格式错 |
| reviewer_id | 质检/复核人 |
| review_time | 复核时间 |
| source_file | 来源文件，比如导出文件名 |
三、Excel 直接计算公式
假设明细表每行一个任务，标准标签在 G 列，标注结果在 H 列，格式错标记在 I 列。
漏标：
=IF(AND(G2<>"",H2=""),1,0)错标：
=IF(AND(G2<>"",H2<>"",G2<>H2),1,0)格式错：
=IF(I2=1,1,0)错误样本：
=IF(OR(J2=1,K2=1,L2=1),1,0)总错率：
=IFERROR(SUM(M:M)/SUM(N:N),0)其中：
- M 列是“错误样本”
- N 列是“应评样本数”，每行填 1，作废行填 0 或直接过滤掉。
按模型版本错率：
=IFERROR(SUMIFS(M:M,A:A,A2)/SUMIFS(N:N,A:A,A2),0)按标注员错率：
=IFERROR(SUMIFS(M:M,D:D,D2)/SUMIFS(N:N,D:D,D2),0)按模型版本 + 标注员交叉错率：
=IFERROR(SUMIFS(M:M,A:A,A2,D:D,D2)/SUMIFS(N:N,A:A,A2,D:D,D2),0)四、错率报表模板
“全部”行用加权汇总，不要用平均值。
| 模型版本 | 标注员 | 应评样本数 | 漏标数 | 错标数 | 格式错数 | 错误样本数 | 总错率 | 漏标率 | 错标率 | 格式错率 | 来源说明 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 全部 | 全部 | 1000 | 20 | 30 | 5 | 50 | 5.00% | 2.00% | 3.00% | 0.50% | 明细表：质检导出20250101.xlsx |
| v1.1 | 全部 | 600 | 10 | 18 | 2 | 28 | 4.67% | 1.67% | 3.00% | 0.33% | 规则版本：v2 |
| v1.1 | 标注员A | 100 | 2 | 3 | 1 | 5 | 5.00% | 2.00% | 3.00% | 1.00% | 复核人：张三 |
| v1.2 | 标注员B | 80 | 1 | 4 | 0 | 5 | 6.25% | 1.25% | 5.00% | 0.00% | 复核人：张三 |
五、负责人复核摘要模板
这是给领导看的，直接填数。
【质检错率重算·负责人复核摘要】
一、数据来源
- 标注明细导出：质检导出20250101.xlsx
- 标准答案表：gold_model_v3.xlsx
- 错误判定规则：漏标/错标/格式错，规则版本 v2
- 数据导出时间：2025-01-01 10:00
二、重算范围
- 模型迭代版本：v1.1、v1.2、v1.3
- 标注员：全部
- 排除作废任务：12 条
三、结果
- 总体错率：5.00%（错误样本 50 / 应评样本 1000）
- 按模型版本：
- v1.1：4.67%
- v1.2：5.21%
- v1.3：5.10%
- 按标注员：
- 标注员A：5.00%
- 标注员B：6.25%
- 主要错误类型：
- 漏标：20 条
- 错标：30 条
- 格式错：5 条
四、异常与复核
- 错率最高：标注员B，主要集中在 v1.2 错标。
- 格式错集中：v1.3 的字段“label”缺失。
- 与上版差异：错误率上升 0.3 个百分点，主要来自 v1.2 错标。
五、负责人结论
- 数据来源可追溯：是
- 口径已确认：是
- 需整改项：标注员B 重新培训；v1.2 批次复核。
- 是否可上报：可上报 / 需整改后上报
复核人：________
日期：________六、下一步
你把原始表按第二部分字段导出，发我。
我可以直接按这个口径帮你跑出：
- 错误明细表
- 分层加权汇总表
- 负责人复核摘要
这样领导再问“来源在哪”，直接拿明细和规则版本给他看。