AI 工具箱 evals 基线报告：66 条真实任务的首跑结果

source: claude · 方法论见《AI 工具箱 evals 计划》 · 评测日期 2026-09-29，结论可能随产品与模型迭代过期

一、概览

HTTP 黑盒调用 toolkit 的 POST /api/tools/{id} → 确定性结构检查（代码判定契约遵守）→ LLM-as-judge 四维评分（1-5，温度 0）→ 人工校准一致率。分数仅作回归参考。

工具	事实性/幻觉控制	结构完整	可操作性	指令遵守
竞品分析	4.91	5.00	4.18	4.95
用户反馈洞察	2.55	4.09	3.36	2.14
PRD 草稿	4.09	5.00	3.82	4.95

读数必读：用户反馈洞察的事实性/指令遵守显著低于其他两工具，主要不是产品质量问题，而是 rubric 锚点的工具错位（judge 拿证据链标注锚点评 JSON 契约工具）——见校准节与计划文档第六节。跨工具比较分数没有意义，同工具跨基线比较才有意义。

竞品分析：no_failure_mark 100%；must_include 100%；sections_complete 100%；evidence_marks_present 100%
用户反馈洞察：no_failure_mark 100%；json_valid 96%；themes_in_range 90%；sentiment_valid 90%；count_sum_consistent 86%；quotes_verbatim 90%
PRD 草稿：no_failure_mark 100%；sections_complete 100%；has_tracking 100%

反馈工具在自己的 JSON 契约上存在约 10-14% 的真实违约（集中在边界案例），这是基线记录在案、下个迭代要修的产品问题。

校准对 32（8 案例 × 4 维，三工具覆盖、含 4 个边界案例，评审者盲评在前）
完全一致率 62%；±1 一致率 84%；平均绝对差 0.594
- 可操作性：n=8，完全一致 38%，平均绝对差 0.625
- 事实性/幻觉控制：n=8，完全一致 75%，平均绝对差 0.625
- 指令遵守：n=8，完全一致 62%，平均绝对差 0.875
- 结构完整：n=8，完全一致 75%，平均绝对差 0.25
分歧（差 >1 分）5 条，全部是 judge 打低分，其中 4 条集中在反馈工具——与锚点错位假设一致

竞品分析 / comp-006（均分 4.2，最低维度事实性/幻觉控制）：judge 捕获一处真实问题——第五节出现「十七年未见的关键变量」表述，与全文内容无对应依据，属无标注断言；其余推断均标注规范。这是结构检查抓不到、只有语义层能抓的幻觉类型。
用户反馈洞察 / fb-015（均分 2.0，最低维度事实性/幻觉控制）：judge 质疑「全部 6 条反馈均反映小程序打不开」的 6 条数量无来源——此为 judge 误伤：输入本就是 6 条一字不差的重复反馈（去重合并是契约要求的行为）。此案例是「judge 看不到任务输入」这一 v2 改进项的直接证据。
PRD 草稿 / prd-005（均分 3.8，最低维度事实性/幻觉控制）：judge 指出「问卷 73%」「平均耗时 40 分钟」未标注来源——严格说这些数字来自任务输入材料，PRD 契约并不要求正文标注来源；此条同样属于锚点错位的误伤，但「关键数字应注明出处」的产品建议本身成立。