Skip to content

Correct evaluator and canonical replay contracts - #3

Merged
lanyue-llk merged 17 commits into
lex-mainfrom
codex/harden-evaluator-contracts
Sep 29, 2026
Merged

lanyue-llk merged 17 commits into
lex-mainfrom
codex/harden-evaluator-contracts

Conversation

@lanyue-llk

@lanyue-llk lanyue-llk commented Sep 24, 2026 •

Copy link
Copy Markdown

目的

修正所有执行器共用的网络评测语义和已确认错误的 canonical 任务合同。修改以 lexmount fork 的 lex-main 为基线,已合并。

整体设计

flowchart TD
  D["canonical 任务合同"] --> C["端点、请求体、字段类型和事件顺序"]
  H["执行器提供的 HAR"] --> T["统一 trace 解析:空 HAR 也是合法输入"]
  T --> E["共享网络事件评测器"]
  C --> E
  E --> R["按原始验收条件输出 pass / fail"]
  P["正反回归控制"] --> C
  P --> E
  R --> B["browser-eval:证据、复核和报告"]
Loading

改动范围

共享问题 修复
动态字段和 POST 占位符 按实际输入解析 URL 与请求体要求。
网络事件选择 保留事件流顺序及显式 last_event_only 语义。
数组类型 验证元素类型和合同要求。
任务合同错误 修正已确认的端点、导航模式、用户组集合、仓库路径和路线方向。
空 HAR 解释为零个网络事件,交由 evaluator 正常判定失败。

正反控制覆盖尾随错误请求、动态字段变化、数组类型、路线反向和空 HAR。修复适用于所有浏览器;浏览器名称、轨迹和部署地址由 browser-eval 维护。

评测报告与版本

812 题全量轨迹重放报告 · 固定报告版本。

报告包含各方法的官方成绩、任务合同、逐题证据及已声明修正。报告使用自身冻结的评测器版本,具体版本由 browser-eval 的 evaluator-transition.json 和 dataset.json 绑定;本 PR 的最新合并提交与历史测量分开记录。

验证和依赖

  • evaluator、迁移、API 和 dataset integrity 聚焦套件:1,862 passed。
  • 本地可运行完整套件:5,739 passed、6,391 skipped、2 deselected;依赖 Docker、外部站点或 Hugging Face 数据的测试未计入可运行范围。
  • 最新空 HAR 修复聚焦测试:10 passed;Ruff 和 diff check 通过。
  • 合并 head:3f8e55934ea21fb32599e86242b89988902f3a0f。测试与自动 review 配置包含仓库测试工作流及 review 接入;此 PR 未提供 GitHub check 结果,以上数字来自已有本地验证。

#1、#2 已在 lex-main;已关闭 #4 的修复已收敛到本 PR。轨迹执行及报告维护见 browser-eval #32。

# Conflicts:
#	src/webarena_verified/core/evaluation/data_types/base.py
#	src/webarena_verified/core/evaluation/data_types/markdown_string.py
#	tests/api/test_corrected_task_contracts.py
#	tests/dataset/test_known_contract_corrections.py
@lanyue-llk lanyue-llk changed the title Fix dynamic network evaluation contracts Correct evaluator and canonical replay contracts Sep 24, 2026
@lanyue-llk

Copy link
Copy Markdown
Author

独立防作弊审查结论

已按“是否降低门槛、修改答案或为特定浏览器放行”重新审查最终 diff,并加入对抗用例。结论:最终 head 3f8e559 没有浏览器特判,没有降低评分阈值,也没有通过改答案让 Chromium/Moli 通过。

审查中确实发现并修复了三类会产生假阳性的共享问题:

  • 动态值曾可从不可信的实际请求自绑定,现改为只从声明的可信响应事件或允许值绑定;
  • 同一来源的多个字段曾可能跨两个物理响应拼接,现要求原子地来自同一事件;
  • last_event_only 曾可能只在局部候选流上取最后事件,现固定在完整事件流中确定最终来源,并要求来源严格早于消费事件。

另外纠正了 task 760 把 Allentown 机场当作市区起点的问题;这是评测数据错误修正,不是放宽条件。Browser Eval 的旧报告仍绑定旧评测版本,不会把旧轨迹结果冒充为新合同结果。

验证:目标测试 45 passed;核心、数据完整性与 API 2355 passed / 3 skipped;Ruff、ty、diff check 通过。

@lanyue-llk
lanyue-llk merged commit 7cd4b6f into lex-main Sep 29, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant