数据生产流程与质量体系
数据专家深度参与每个环节 —— 不是流水线末端的人工抽检, 而是嵌在流程之中的专业判断。
§ 1
七个环节
每个环节讲三件事: 为什么存在、预期结果、数据专家在其中做什么。
1
任务采集与遴选
保证「真实专家任务」的成色。入选任务须来自真实专业工作场景, 且具备可验证的交付物。
数据专家 · 界定行业与难度准入, 逐题判断任务成色
2
场景构建
真实任务需要确定的可运行起点。每题构建完整初始工作区(项目文件、材料、附件), 起跑状态确定。
数据专家 · 审验初始工作区与任务描述相符、材料齐备可用
3
任务规格化
「做对」须有唯一解释。任务书含目标、需求、约束、交付契约与信息缺口。
数据专家 · 裁决留白与缺口: 收窄还是保留
4
验证设计
先确定「怎么判对」, 任务才定稿。行为类建判卷方世界模型与运行剧本; 产物类建逐条验收判据; 数值阈值独立标定。
数据专家 · 审验判定口径是否反映行业正确性
5
参考解与校准
任务必须可解, 判据必须判得对。参考解满分、零操作零分、似是而非的做法判否、开始即满足的判据剔除。
数据专家 · 复核参考解与校准结论
6
多重质量门
把问题拦在发布之前。任务书门 → 可答性门 → 判据校准门 → 完整性校验 → 出口闸门, 逐级把关; 任一门未通过, 任务不进入数据集。
数据专家 · 处理自动门交给人的疑难裁决
7
交付与溯源
每个声称可核查。每题完整元数据 + 逐文件哈希 + 版本锁定 + 检查项级评分报告。
数据专家 · 签发发布
§ 2
质量门一览
环节逐级把关: 任一门未通过, 任务不进入数据集。交付包内附每道任务通过全部质量门的记录。
| 环节 | 为什么存在 | 预期结果 | 数据专家的参与 |
|---|---|---|---|
| 任务采集与遴选 | 保证「真实专家任务」的成色 | 入选任务须来自真实专业工作场景, 且具备可验证的交付物 | 界定行业与难度准入, 逐题判断任务成色 |
| 场景构建 | 真实任务需要确定的可运行起点 | 每题构建完整初始工作区(项目文件、材料、附件), 起跑状态确定 | 审验初始工作区与任务描述相符、材料齐备可用 |
| 任务规格化 | 「做对」须有唯一解释 | 任务书含目标、需求、约束、交付契约与信息缺口 | 裁决留白与缺口: 收窄还是保留 |
| 验证设计 | 先确定「怎么判对」, 任务才定稿 | 行为类建判卷方世界模型与运行剧本; 产物类建逐条验收判据; 数值阈值独立标定 | 审验判定口径是否反映行业正确性 |
| 参考解与校准 | 任务必须可解, 判据必须判得对 | 参考解满分、零操作零分、似是而非的做法判否、开始即满足的判据剔除 | 复核参考解与校准结论 |
| 多重质量门 | 把问题拦在发布之前 | 任务书门 → 可答性门 → 判据校准门 → 完整性校验 → 出口闸门, 逐级把关; 任一门未通过, 任务不进入数据集 | 处理自动门交给人的疑难裁决 |
| 交付与溯源 | 每个声称可核查 | 每题完整元数据 + 逐文件哈希 + 版本锁定 + 检查项级评分报告 | 签发发布 |
想看一道任务如何走完全部质量门?样本集内每道任务附完整元数据与质检记录
申请样本