专家标注流程
领域专家不是在流水线末端抽检, 而是这份数据的作者: 业务场景、材料、任务书、参考产出与判据基线都出自专家之手。
§ 1
五个环节
每个环节讲三件事: 为什么存在、预期结果、领域专家在其中做什么。
1
场景选定与材料准备
任务的价值来自现实业务与完整的上下文。每个项目有明确的业务场景与角色, 并配齐一套成体系的业务材料(文书、台账、数据表、项目资料)。
领域专家 · 选定业务场景, 按执业习惯准备并核对材料
2
任务拆解与任务书
一个项目包含多件可以独立验收的工作。项目拆为若干前后衔接的任务; 每份任务书写明角色、目标、依据范围、口径与交付物, 自足可开工。
领域专家 · 界定每个任务的边界、口径与交付形式
3
专家参考产出
「做对」要有看得见的实物。每个任务一份专家完成的正式交付物, 与任务书要求的文件形式一致。
领域专家 · 亲自完成交付物
4
验收判据标注
专业工作的对错需要能逐条判定的标准。评审类以专家原始判据为基线, 再从「仅凭任务与材料」「对照参考产出」「归纳典型错误做法」三个独立视角补全, 合并去重, 每条标注来源位置; 锚点类直接以专家原始判据作为判分锚点。
领域专家 · 给出原始判据与关键门槛, 作为专业要求的优先依据
5
分级与隔离打包
关键错误不能被次要项的得分掩盖, 答案不能被作答方看到。判据分为关键要求、加分项与负面规则, 或设为带权重的确定性锚点; 参考产出与判据不进入作答环境; 评分器随包分发。
领域专家 · 关键要求的界定以专家给出的关键门槛为依据
§ 2
判据分级一览
按任务性质采用两种判分形态: 评审类由评分模型按判据逐条评审, 三级判据共同决定得分; 锚点类由确定性脚本逐条检查, 不依赖评分模型。
| 形态 | 级别 | 是什么 | 如何计分 | 举例 |
|---|---|---|---|---|
| 评审类 | 关键要求 | 任务成立的核心条件: 交付物可用、关键事实与数值准确、核心分析到位 | 完全满足才通过; 任一未通过, 任务得分归零 | 所依据的工作表行次写明; 识别出独家供应商风险 |
| 评审类 | 加分项 | 提升交付质量、但不构成核心交付失败的要求 | 按「未满足 / 部分满足 / 满足」三档, 以重要度加权 | 金额单位与小数位统一; 区分担保期间与借款期限 |
| 评审类 | 负面规则 | 专业上不可接受的错误做法 | 命中即归零(已被正向判据覆盖的不重复处罚) | 编造证据或条款; 把当事人主张当成计算结果 |
| 锚点类 | 判分锚点 | 取自专家原始判据的检查点, 分核心、事实、补充三类 | 确定性脚本逐条判定, 按权重加权(核心与事实 1.0, 补充 0.5) | 在标注的盖章位置加盖正确的印章; 红冲流程依赖红字确认单的状态流转 |
想看一个任务从材料到判据的全貌?样本内每个任务附任务书、上下文材料、参考产出与逐条判据
申请样本