---
title: LoyaltyOps-Bench
sdk: static
app_file: index.html
license: apache-2.0
---

# LoyaltyOps-Bench

用原创合成业务检查零售会员运营 Agent 是否完成任务并遵守授权、频控与审批规则。当前仅实现一个沉睡召回模板、两道题；不是生产系统、模型排行榜或经营收益证明。

**署名：ibluemanta。代码 Apache-2.0；原创合成题库与文档 CC BY 4.0。** 许可按路径区分，详见 [LICENSE_SCOPE.md](LICENSE_SCOPE.md)。这是发布到 [Hugging Face Static Space](https://huggingface.co/spaces/ibluemanta/LoyaltyOps-Bench) 的技术预览。

## 版本与结果

- 当前候选代码 **0.3.1**：11 个源码模块与已验收内容逐字一致。只在 DeepSeek 明确报告资源不足时按基础设施故障归因；该修复通过独立定向复测。
- `artifacts/loyaltyops_bench-0.3.1-py3-none-any.whl`：从本候选源码离线构建，供本地安装检查。
- `artifacts/loyaltyops_bench-0.3.0-py3-none-any.whl`：原始历史 wheel，仅用于复现绑定 0.3.0 的历史实验；不能把其模型成绩写成 0.3.1 成绩。原 wheel 的长描述沿用较早安装说明，其文内版本不是该 wheel 的发行元数据版本；保留原件不改写。
- **结果已按审阅记录分别整理**：历史首跑、120秒中断、240秒复现及思考对照分别展示，版本门禁单列。未运行不是失败，历史模型代码仍为0.3.0。

## 从这里开始

[便携安装说明](docs/engineering/installation.md) · [输入与维护者边界](maintainer/README.md) · [许可范围](LICENSE_SCOPE.md) · [文件清单](manifest.json)

从包根目录运行只读展示：

```sh
python3 -m http.server 8000 --bind 127.0.0.1
```

然后在本机浏览器打开 `http://127.0.0.1:8000/site/`。该命令只启动文件服务；不加载模型，不使用密钥，不运行评测。页面仅展示本地预计算 JSON，无外部 CDN、在线模型接口、数据提交或 Key 输入。直接双击 HTML 时浏览器可能阻止读取 JSON；页面会显示说明。

## 文件层次

- `agent-input/`：两题公开目标、完整政策与工具规格，不含维护者答案、期望名单或评分状态。
- `src/loyaltyops_bench/`：原版运行代码；后端种子、评分器、脚本参考实现属于维护者材料。
- `maintainer/`：主持端边界说明；正常模型会话只使用公开任务与受控工具，不把仓库文件直接交给 Agent。
- `site/`：只读静态框架；`site/data/reviewed-results.json` 为审阅后的分组摘要。
- `artifacts/`：分别标识版本的两个 wheel，不与模型成绩自动绑定。

目录分层不是安全沙箱。取得完整源码的读者可查看评分实现，因此不能声称存在隐藏保留集、抗污染或防恶意 Python 隔离。

运行器会在本地输出带本机绝对路径的定位信息。原始报告仅留在维护者环境，不能直接复制到公开包；未来结果摘录应只转换定位信息，保持动作、金额、样本数、失败与判分原意，并重新审阅。

候选清单记录每个载荷文件的 SHA256、来源版本、用途和层次；`manifest.sha256` 单独校验 `manifest.json`，这两个清单文件不递归计算自身哈希。重构建 wheel 的字节摘要可能随构建环境变化；源码版本身份需另行核对。

## 实验解释边界

思考模式两题均在每个请求 1024 的共享生成上限下未完成；思考与答案/工具输出共享该预算。原包装分类 agent_output_error 不表示 JSON 坏格式，具体停止原因是 output_token_limit。

思考组后端辅助启动参数多出 --load-mode none，另有临时端口变化；已核对的显式请求生成配置仅 think 不同，但整个启动命令并非逐字相同。加载参数、负载、缓存和热状态的影响未知，不作性能因果断言。

完整分组与记账口径见 [结果说明](RESULTS.md)。来源快照已通过独立静态验收与总管桌面视觉检查。本次发布包装做了工程定向检查，未把来源验收等同于新包独立验收或每次 HF 在线部署的可用性保证。详见 [来源与部署状态](PROVENANCE.md)。

## Interface languages

English is the default for new visitors. Use English / 中文 to switch. Task and experiment evidence remain in their original language; see [bilingual scope](BILINGUAL.md). This bilingual update is prepared locally and has not been uploaded.