Repository navigation
Own Web Fetch definitions and standalone evaluation - #1
Conversation
|
本轮独立审查完成,固定 head 为 发现 1 个本 PR 的 P2 问题:独立评分 CLI 缺少结构化回答元数据输入。同一份包含两条名称/目标配对的回答,Python 接口通过,CLI 因无法接收元数据而失败;已实际运行两条入口复现。 现场验证范围:
本轮验证使用仓库场景、合成证据和本地采集,没有重新认证全部历史第三方采集材料或进行真实供应商评测。除已定位的 CLI 输入问题外,没有发现其他需要修改的实质问题。没有提交、推送或合并代码;本轮不跟进后续新 head。 |
|
第二轮独立复审结论:上轮 CLI 元数据输入问题已修复,本 PR 没有剩余实质问题。 已从 GitHub 核对并固定审查 head 源码测试 1,203 项通过、76 个子测试通过;另从本 head 的源归档重建 wheel,安装到不含 Browser Eval 的独立环境,在源码目录外运行同一套测试,仍为 1,203 项和 76 个子测试通过,四个套件的 Browser Eval 关联边界测试 150 项和 68 个子测试通过,实际安装依赖和 revision 绑定均同步到本 head。集成端仍有一个历史路径问题,已在 browser-eval#54 单独复现和评论,不属于本包本次 CLI 修改。 本轮没有发现新实质问题。未重复第一轮未受修改影响的慢检查,未重新认证历史第三方采集材料或进行真实供应商评测。只使用本会话独立 checkout,没有修改、提交、推送或合并代码。 |
Summary
LexBench now owns the executable benchmark as well as its public task definitions. Move the task model, acceptance scorer, file-byte checks, scenario compiler, source bindings and regression cases from Browser Eval into this package. A saved response or delivered file can be evaluated without installing an execution harness.
Keep a single installed definition tree, preserve frozen historical bytes, and use the current access-restriction population. Public task projections retain reference hashes rather than captured bodies. Browser Eval imports this package at a pinned commit and removes its corresponding implementations in browser-eval#54.
Validation
--metadata, with paired link/resource acceptance scenarios, malformed-input rejection and protection against caller-supplied file verdicts. An independent session reproduced the original failure and confirmed this correction on head522ede3e, with no remaining findings in this PR. Independent follow-up review.