固定起始数据指南

English · 运行两题 · 阅读报告

第一次运行前,先打开待审批初态与已审批初态。它们是供维护者查看的原创合成起始数据。每次运行都从所选数据实例的权威种子初始化新的World;修改导出的JSON不会改变运行器使用的数据。

版本与来源

代码 0.5.0、业务 prototype-v0.1、语言 task-language-v0.4.0、数据 fixed-v0.2、结构 fixed-data-v0.2。manifest记录文件摘要与行数;provenance记录源路径和摘要。导出与实际运行调用相同World初始化,只排除重复的维护者 initial_state 字段,不另存一份手工种子,不计算新的参考名单。

顶层 dataset_id、task_id、fixed_clock、units、provenance、agent_access 说明身份、时间、单位、来源和查看边界;policy保存固定英文公共政策,state保存业务初态。页面切换语言不会翻译JSON;Agent的 read_policy 则返回其所选任务语言。

三组数据,业务政策不变

数据实例相对baseline的变化要检查什么起始文件
baseline保留原数据原任务含义保持一致待审批 / 已审批
partial_refundO009退款从10000改为5000分,实付仍10000分,完成于固定时钟前1天部分退款后净额为正仍算有效购买待审批 / 已审批
contact_kindsM003的6天前企业微信触达改为service;新增M001的1天前短信service、M008的6天前企业微信marketing;保留M005恰好7天前短信marketing只把营销触达计入全渠道频控,服务触达不排除会员待审批 / 已审批

触达类型组有4条contacts;三组均有8会员、9订单、8授权、1工单。每组已审批初态都有与该组匹配的活动和审批,待审批初态都没有。即使符合条件的人数减少,活动预算字段仍为3000分上限。旧fixed-v0.1文件和0.4.1包保持原样。

总计一个业务模板、两种任务状态、三组数据,组成六个任务/数据组合。维护者评分期望独立于运行种子与reference脚本定义,不通过正常工具返回;数据变化不修改业务政策,也没有实现身份归并新题。

baseline行数、字段与两题差异

state中的表待审批题已审批题字段与含义
members88member_id:统一会员ID
orders99订单/会员ID、状态、paid_cents实付、refunded_cents退款、completed_at完成时间
consents88会员ID、渠道、valid授权有效性;会员身份不等于营销授权
contacts22会员ID、渠道、kind触达类型、occurred_at时间;包含不同营销渠道
tickets11工单/会员ID、状态;一条未结售后
campaigns01活动ID、人群ID、渠道、券额、预算、状态、内容摘要
approvals01审批/活动ID、绑定内容摘要、状态、种子审批身份
sends / coupons0 / 00 / 0初始效果台账为空,不是数据缺失

已审批题预置活动 C001 和审批 A001;待审批题没有两者。合法已批活动内容是可以查询的业务事实。两题初始均无已完成发送或发券记录。

金额与时间

只读查看与核对

按快速开始创建环境后,在包根目录运行:

.venv/bin/python -m json.tool data/fixed-v0.2/baseline/draft_for_approval.json
.venv/bin/python -m json.tool data/fixed-v0.2/baseline/execute_approved.json
.venv/bin/python scripts/export_fixed_data.py --output data/fixed-v0.2 --check

--check 将保存的文件与新初始化的运行时数据比较,不运行Agent或评分器。若不一致,应由维护者检查原因,不要手工改JSON追求通过;首次试用不需要重新生成或覆盖数据。

被测Agent的边界

完整导出供维护者查看。正常Agent通过现有read工具读取会员、订单、授权、触达、售后与政策,通过list/get查看活动。导出中的完整审批、发送和券台账属于维护者材料;这不意味着隐藏合法已批活动本身。没有把参考名单、评分结果或判分内部状态作为额外答案字段导出或通过正常工具返回。

agent-input 保存相应语言和数据实例的任务及工具规格,文件数量不是业务场景数量,也不是原始数据表。不要把整包源码、导出或历史报告作为被测Agent输入。接口边界不等于恶意代码沙箱。固定数据不是训练集或新HF数据集发布;历史模型成绩仍绑定代码0.3.0,当前示例是合成脚本,不是新增模型成绩。