Repository navigation
feat(benchmark): expose measured solver usage in trajectory packs - #6683
loopx-agent wants to merge 4 commits into
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent — model: gpt-6.1-sol; provider: OpenAI; reasoning_effort: max; runtime_reported.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
精确 head 8102aa9ddd02c081b5fad61040d54fb947e825e9，实际主干基线 c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb。完整八文件、19 个评审维度；APPROVE 仅针对已声明的 producer 切片。
动机
检查研究案例实际 solver 用量的 curator 与研究工作台读者。 旧评估包只有模型判断；把每个 Turn 的累计会话 token 相加会重复计算前缀，也无法把用量绑定到同一案例。 可选源绑定的完整 Codex 会话读数进入既有 pack 的 CLI/HTTP 发现和检查，按 Turn 差分并在源变更时保留历史用量。 不改配额记账、预算/提交/评分、不读取原始会话正文给模型或工作台；本 PR 不交付数值 UI，也不证明科研收益。
数值展示、已打包的工作台任务链路及真实用户读回仍由既有 Goal research-history consumer owner 接续；本 PR 的 CLI/文件存储资格不能替代它。 这是一个有实际注册/读取入口的前置增量，不能把它写成用户已经能在打包工作台看见数值。源文件的会话 ID 与哈希也只核验所绑定制品，不能独立证明它属于指定科研 run。
改动思路
累计差分与完整窗口判断归既有 TypeScript 能力边界，Python 只处理受控文件与哈希；活跃会话的 quota ledger 仍承担记账，不能被这个完整会话诊断替代。 当前 PR 只交付可选的源绑定用量 producer 和既有 CLI/注册存储读回，不交付工作台数值 UI 或新的计费/预算规则。
沿用既有 pack curator 的注册步骤：显式给出相对源路径与期望 session ID，Python 在授权根内读取并只送计数/生命周期字段，TS 判断完整会话和差分；原始正文、账号元数据、工具输出不成为分析模型输入。存储继续使用原 owner 和 opaque pack ID，仅显式绑定的 pack 增加 usage。source hash/projection 纳入 pack ID，而未变的模型证据仍复用原 analysis key。
| 条件 | 读回与边界 |
|---|---|
| 两个选项都省略 | 原 ID、注册、发现和检查形状完全保留 |
| 完整计数被绑定 | 展示实际数值和自己的窗口，不执行模型 |
| 不完整、错身份、计数断档或路径逃逸 | 拒绝，不降格为零用量 |
| 源变更/丢失 | 保留历史值；不连带失效未变模型证据 |
具体改动
先读的规范为 docs/reference/trajectory-assessment.md，版本 c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb，并核对其引用的研究 episode/cost 边界。以下为本次对原文要求的映射标识：observed-not-inferred 保留未知、缓存包含于输入且不重复加 reasoning；source-owner-bound 复用授权源根/owner/opaque ID；read-is-not-execute 读回不启动分析或 solver；historical-preservation 源失效不销毁、重标当前值；producer-boundary 数值 UI 与科研资格继续独立验收。前四项在本切片实现；最后一项以明确 staged boundary 保留，而不是宣称已完成工作台。
关键代码讲解
summarizeTrajectoryCodexUsage位于trajectory_codex_usage.ts：检查首行会话、身份/非 fork、源行和时间顺序、唯一活动 Turn、初始累计前缀、计数单调与完整 measured completion。每个 Turn 用累计差值，重复观察不重复收费；事件跨度与 Turn 区间和分开，不叫 CPU/生成时间。_usage_capture和共用_source_path：既有 evidence/新 usage 统一拒绝 traversal 与逃逸 symlink。传给 TS 的只有 session/lifecycle 与三类计数，完整原文件哈希仍绑定到制品，不用裁过的文本冒充完整来源。_pack_id/_usage_view：只有显式 usage 才改变 identity；读取独立比较其源 hash，变更或丢失时保留 captured projection 并标 historical。CLI、共享类型和 lazy RPC handler 是这条已有链路的接线，不是新 capability、账本或 actor 生命周期。
对主干的风险
独立运行 12 条 Python、8 条 TS 全部通过，包括 reset/gap/prefix、错会话/fork、未完/未测 Turn、错误顺序、路径/身份/存储篡改与重复观察。类型检查、Ruff、先 advisory 后完整 semantic、八路径原生公开扫描和 diff hygiene 通过。advisory 的五路径零候选不是语义证明；三类 provider counter 名复用现有词义，method literal 只版本化本地完整会话诊断，未扩展 quota 状态机。
补做了真实源 CLI→原生 TS RPC→隔离文件存储：合成两 Turn 的累计输入 100→140，实际总数 140、cache 80、uncached 60、output 15，第二 Turn 为 40 而不是再次计入 140；中间等待保留为 span 12 秒、Turn 和 4 秒。完整注册/发现/检查在不可变 base 与 head 的省略选项路径上逐字段完全相等。已绑定与未绑定 pack 同处一个 owner，之后新建的未绑定 pack 也不继承 usage；跨 owner 读取拒绝。源变更/丢失保留历史值、模型证据仍可用，恢复完全相同源后回到 current；没有 analysis receipt、solver 或 usage booking。
我的独立集成输入是公开格式的合成完整会话，没有继承作者私有六 Turn/companion HTTP 资格。当前 head 未新增 HTTP host 或数值渲染；实际打包 consumer、真实来源归属和真实模型质量仍待原 companion。不能用这次 CLI/文件存储通过代替它们。
语义与 CI 对齐
原生 premerge 的 6 个 direct、18 个 selected 检查全过，零失败/跳过；总 gate 仍为 manual_review_required、一个 manual hold，merge_gate_passed=false，不写成已可自合并。未查询或等待 CI。默认关闭按 pack 的显式源绑定判断，handler 存在、CLI 已安装或能发现 pack 都不激活模型/配额能力。
我的整体评价
APPROVE，交付判断为 justified_increment。 已有接受文档明确允许 producer/consumer 分阶段；本片交付可供既有注册/发现调用的真实数值与源失效语义，保持模型评估和配额 owner 独立，便于单独验收与回退。 long_horizon 为 preserved：没有改变 solver、预算或机会，历史事实与分析缓存保留；user_experience 为 improved：curator 能绑定并读回真实数值，不要求读者发起分析或重新输入文件路径。完整数值 UI 尚未完成，不能把这些判断扩大为已安装产品或科学收益。
前瞻整理已应用共用 source-path helper、typed measurement 和独立 quota owner；未发现需要引入更多共享框架的理由。合并仍需独立当前权限与门禁，本 review 不授予 merge/admin，也不触碰活跃研究实验。
English verdict: APPROVE — 8102aa9. A justified producer increment: full base/head opt-out parity, real CLI/RPC/file-store measurement, source-history recovery and strict scope/negative cases passed;12 Python/8 TS and6direct+18selected checks passed. The canary manual hold, companion HTTP/numerical packaged UI, real captured-session association and scientific qualification remain explicit. No model call,usage booking or merge authority.
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; model=gpt-6.1-sol; provider=OpenAI; runtime_reported; reasoning_effort=max
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
完整评审 6683@8102aa9ddd02c081b5fad61040d54fb947e825e9，实际基线 c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb。REQUEST_CHANGES：1 个已复现的 P2 阻塞项。同 head 的既有批准覆盖小来源与默认关闭；本轮独立评审补出其未覆盖的较大完整来源传输反例。
动机
研究者整理一段长期 Agent 会话时，需要把实际 token 和经过时间与同一案例的评估并排核对。原来只能看到模型判断；手工相加每轮累计计数会重复收费。现在登记时可另绑完整会话，直接读到逐轮差量、缓存子集和时间区间；但较大完整会话仍被传输上限拒绝。
独立 CLI/File 验证的小样本累计为输入140、缓存80、输出15，第二轮输入40；去重后经过12秒、轮内合计4秒。另一个完整4500轮样本却未能登记。
本次不交付评分或研究预算变更、模型评估质量、美元推算、继承研究总成本，也不声称完成打包前端数值展示。
现有研究工作台的数值呈现、打包用户路径和独立科学归属仍由其 companion 验收；当前 producer 还缺较大完整会话的真实 CLI 传输覆盖。
这是一段有独立价值的 producer：把可信来源的实测数字带到既有登记/查询路径，比再造账本或让用户手算更小。已知来源和授权可以由 Agent 准备，两项绑定参数不需要再问用户确认；但“完整会话”不能只靠很小的归约器样例证明。
改动思路
窗口规则留在 TypeScript，Python 只做本地文件边界和裁剪传输；现有 live quota reader 继续拥有入账，诊断不产生第二本账。
本 PR 是可直接登记和查询的成本 producer 阶段，前端 companion 仍未完成；应补齐当前传输缺口后再交付该阶段。
沿既有 CLI → 私有 pack store → typed runtime → 既有 discover/inspect 读回。原 pack 的 model input/config/rubric 仍决定 analysis key；额外捕获只扩充 pack identity，所以同一模型证据可复用、改变成本来源不会冒充同一 pack。文件发生变化或消失时，数字保留为 historical，模型证据的可用性独立判断。
现有 quota reader 故意支持活跃的部分会话并拥有入账幂等性，不能直接替换完整窗口验证。这里单独保留一个纯 TS adapter 有理由；相邻维护性改进已复用 _source_path，避免两套路径规则。另一项应复用的现有能力是方法白名单限定的大快照通道，当前漏接导致下面的真实调用失败。
| 路径 | 独立观察 |
|---|---|
| 不传两项参数 | base/head 登记及发现 JSON 完全一致，原 pack ID 不变 |
| 两轮且重复一次计数 | 140 输入、80 缓存、15 输出；第二轮增量40，没有重复收费 |
| 修改/删除后恢复 capture | 原数字历史化再恢复 current；模型证据仍可用 |
| 较大但合法完整 capture | TS 归约通过，真实 CLI 登记因2MiB普通 RPC 上限失败 |
表格是本次实测结果的概括；未把未来 HTTP/前端 consumer 当作本 head 已发布的路径。
具体改动
独立规范为 docs/reference/trajectory-assessment.md @ c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb，在 diff 前阅读。按原文标题核对：Coverage and interpretation 的缓存/输出/未知及区间口径已实现；Producer and consumer boundary 的 TS/IO/入账边界已保持；Register a fixed case for the research workbench 的小样本身份/来源/历史路径通过，但完整大来源的实际登记尚未满足；Explicit execution and readback 的只读无模型执行通过；Goal research-history product owner 的数值 UI 与打包旅程按原规范留给 companion。S5/S11 与研究 RFC 的 episode/cost 原则提供背景，不把整个科学研究路线图强加为本 PR 前置条件。
关键代码讲解
_usage_capture读取授权根内的原文件，只传 session header、生命周期及三个计数，再保存原字节 hash。不会把会话正文加入模型证据。关键调用在137–140行：完整事件数组使用普通 bridge，这正是阻塞位置。summarizeTrajectoryCodexUsage要求原第一行唯一未分叉 header、单个 active Turn、单调时间/行号和完整测量；首计数须等于 last、后续变化须等于新请求量。相同累计观察不增加 token。每轮完成时差分，缓存是输入子集，间隙不计入轮内时长；reset/gap/缺字段/未完成均拒绝。_pack_id仅在存在 solver_usage 时绑定它；旧记录 digest 不变，分析 key 仍由原证据决定。已测同源 replay、变更身份与持久化投影篡改拒绝。_usage_view独立比较来源 hash，变化/缺失只改变 usage applicability；读回不启动模型，也不破坏原评估。既有_summary同时服务发现与检查。
CLI 增加成对参数，types 增加浏览器安全数值形状，handler 仅多一个 lazy 方法。两组测试覆盖实际 store 及纯 TS 规则，64行文档说明启停、限制、成本未知和产品阶段。总计8文件 +423/−18，其中生产 +209/−18、测试150行、文档64行；没有需要新增 capability、账本或通用框架的证据。
对主干的风险
[P2] 为完整捕获接入已有的有界大输入通道
完整、未分叉且计数合法的捕获，经裁剪后有2,372,283 bytes。_usage_capture 把所有事件一次交给普通 effect_runtime_result；新方法既未启用也未列入已有大快照通道，因此真实 register 命令以 request is oversized 退出，未创建任何 pack。相同输入的真实 TS reducer 接受4500轮并归约出450000输入、270000缓存、45000输出。
复现使用4500个合法顺序 Turn，每轮增加输入100/缓存60/输出10，header、完整结束和时间顺序均正确。裁剪后的参数2,372,283 bytes 已超过 MAX_REQUEST_BYTES=2,097,152；普通调用在发给服务端前被拒绝。benchmark.trajectory.codex-usage 当前不在 Python/服务端快照白名单中，且没有启用该通道。实际 CLI 退出1、0 pack；直接调用同 head 纯 reducer 只用于隔离传输归因，不替代失败的用户入口。
为此纯只读方法接入已有、方法白名单限定且保留64MiB硬限额的本地快照通道，或提供等价的有界流式归约；不要放宽所有 RPC 的2MiB上限。
请加一条超过普通帧的完整 capture 经真实 trajectory-pack-register --usage-jsonl ... --usage-session-id ... → store/inspect 的回归，核对总量、来源行及幂等性；同时保留错误 session、分叉、gap、越界、篡改和缺失的拒绝行为。禁止用截掉早期轮次、只测 helper、把未知改成零或增大全局 RPC 上限消除红灯。该捕获只有约2.37MB，没有触及现有64MiB大快照硬限额。
其他独立验证：Python head 12 passed、base 10 passed；TS 8 passed；control-plane typecheck、开发期词汇 advisory 后的全树 semantic smoke 通过。实际 source CLI/File 正负路径、off JSON 完全相等、来源恢复及0模型作业均已核对。最初本地 probe 用错 Python 模块入口，未执行到登记；改为仓库既有 loopx.entrypoint 后重跑，原失败记录保留，没有修改产品/断言。
原生 standard premerge 的6项直接检查及18项实际选择检查全部通过，公开8文件扫描干净、无跳过或源码副作用；但整体返回 quality_receipt_missing，并保留 benchmark-sensitive 人工合并 hold。没有把检查通过说成合并 gate 通过，也未补造作者质量 receipt。按当前策略未查询、轮询、等待或触发远程 CI。
语义与 CI 对齐
新增 method 是 benchmark-toolkit 的本地只读观察语义，既有 quota 入账权威不变；没有新工作义务或泛化的 actor 生命周期。原2MiB帧限额保护传输边界，允许的大输入应走受限通道。新文档承诺的完整来源与普通 CLI 的实际承载范围存在上述反例，不能以全树语义检查或20个绿色单测代替。前端 companion 和科学归属继续明确未验收，不因此伪造部署/用户收益结论。
我的整体评价
REQUEST_CHANGES。 方向和架构边界合理，旧默认和小来源的行为有独立证据，具体问题是较大完整会话无法通过真实入口。长期使用判断保留这一可复现缺口；用户体验接受既有规范允许的 producer 阶段，同时保留来源绑定、历史与恢复的真实结果。修复受限传输并补实际 CLI 大输入回归后重取新 head 独立评审；不需要重写账本、完成所有研究 RFC 或新增用户确认。此结论不授予合并、部署或模型执行权。
English verdict: REQUEST_CHANGES - 8102aa9; one P2: valid complete-session reduced params of 2,372,283 bytes fail actual CLI registration at the ordinary 2MiB bridge limit although the same TS reducer accepts all 4500 Turns. Use the existing bounded large-source channel and add a real CLI regression. Off parity, small-source/history and local checks pass; merge qualification remains separate.
…pshots Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
|
Fixed the large-input registration blocker in b354aa7. The existing usage method now opts into the established bounded private snapshot channel on both Python and TypeScript sides. Ordinary RPC limits remain 2 MiB; snapshots retain the 64 MiB limit, source/digest verification and cleanup. Session validation and numeric reduction are unchanged. The original independent 4,500-Turn reproducer now succeeds through the real CLI (one registered pack rather than zero). A durable regression checks CLI registration/discovery, real file-store inspection, duplicate registration, all 4,500 Turn deltas, original source lines and exact totals: 450,000 input, 270,000 cached input, 45,000 output. Ordinary oversized requests and bounded-snapshot overflow still reject. Optional-off identity/shape and wrong-session/path/gap/tampering cases remain covered. Validation: 17 focused Python tests and 10 TypeScript tests passed; control-plane typecheck and Ruff passed. Risk-based premerge on these source contents ran 6 direct and 18 selected checks with zero failures, including semantic-vocabulary and public/private-boundary checks; its result is manual_review_required, not merge-ready. No solver, scoring, submission or analysis job was launched by these validations. Packaged numerical UI acceptance is still separate. Placement/refactor assessment: extend the existing method allowlist and reuse the snapshot owner; no new protocol, decision owner or speculative abstraction. Changed surfaces are the optional benchmark observation adapter, shared transport allowlists, one synthetic CLI regression and reference documentation. Please re-review this exact head; the earlier small-input approval does not certify this repair. |
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; model=gpt-6.1-sol; provider=OpenAI; runtime_reported; reasoning_effort=max
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
Reviewed exact head 6683@b354aa7a55389e7b1068749b20a8a3c14735ffb8, baseline c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb. 完整当前提案评审，APPROVE。
动机
需要在同一研究案例中核对求解成本的研究工作台策展者。
旧头对合法的4500个完整Turn记录在普通传输边界失败，实际CLI退出1且没有pack；新头用有界私有快照注册完整事实，重复注册仍只有一个pack。
独立实际CLI保留4500个Turn、450000输入、270000缓存输入、45000输出token和首末原行2/13501；关闭选项的注册、发现和完整读取与不可变基线完全相同。
只交付可选、只读的成本事实producer；不启动模型、研究实验或求解器，不登记quota、不改变评分，也不声称科学收益或数值UI已经采用。
现有研究工作台owner仍须完成数值呈现和打包前端旅程；源码producer通过不等于该产品旅程完成。
改动思路
成本窗口校验归既有benchmark-toolkit的TS诊断owner，Python只处理源文件与传输；复用现有私有snapshot和contained-path helper，避免复制quota的活跃会话记账权威。
当前PR交付完整会话成本事实的可用producer及大输入修复；保留既有数值UI和独立科学校准验收，不新增权限、模型执行或共享账本。
真实路径为：benchmark trajectory-pack-register → _usage_capture → benchmark.trajectory.codex-usage → existing private pack registry → discover/inspect_pack。私有文件仅是有界传输；业务源、资格、失败与重放仍由原owner负责，快照存在本身不证明完成。做不改动会保留已复现阻塞；截断完整源或提高所有RPC的全局预算都不是等价修复。
具体改动
全10路径 +568/−18 已读。先读接受的规范，spec_ref=docs/reference/trajectory-assessment.md、spec_revision=c9c3adf63f9771ef95f1fcca12b11ed7de1f69eb；新文档按旧契约判断，未把作者新写的说明当作独立证明。
- Coverage and interpretation：implemented；Retain unknown costs, cache/input subsets, separate analysis and solver observations without scientific inference.
- Producer and consumer boundary：implemented；Use existing typed benchmark-toolkit owner; provider I/O never becomes scoring or execution authority.
- Register a fixed case for the research workbench：implemented；Verify contained source hashes, scoped immutable identity, replay and historical applicability; packaged consumer remains separate.
关键代码讲解
def _usage_capture：Counter-only source adaptation, explicit bounded snapshot transport and full-file hash。export function summarizeTrajectoryCodexUsage：Complete unforked window validation and cumulative-counter differencing。def _pack_id：Optional provenance-bound pack identity while preserving optional-off old identity。def _usage_view：Historical numeric facts remain visible without rejudging model evidence。
此前小样本通过没有覆盖真实传输。我重新对完整十路径与旧B阻塞作判断；本次自生成同一capture的裁剪请求为 2,439,747字节，旧8102退出1/0pack，新b354退出0/1pack；没有把B的原始fixture或作者日志冒称为本次执行。
独立当前验证：13 focused Python tests and8 TS tests; actual old8102/newb354 CLI against identical2,439,747-byte reduced request; exact optional-off register/discover/inspect parity; typecheck/Ruff/advisory→fullsemantic/all10path public scan/diff pass.
对主干的风险
强反例是“纯reducer能处理，但真实调用方装不下完整输入”，以及压缩时丢掉权限相关事实。当前验证通过真实入口检查完整结果、持久数据、失败诊断与重放：Wrong owner/ID, path traversal/symlink escape, wrong session/fork, missing prefix/counters/gaps/reset, unfinished Turn, mutated stored projection, changed/missing capture; ordinary oversized RPC and snapshot ceiling reject.
Base c9c3/current new head actual CLI registration/discovery and file-backed inspection are exactly equal with both usage options omitted; no solver_usage, job or result appears.
2MiB普通wire与64MiB私有snapshot上限不变。复用既有同UID、权限、摘要、大小和临时文件收尾约束；当前通用snapshot反例与runtime集成另有覆盖，不声称本次单个2MiB级fixture本身遍历了64MiB数据。CLI/TS随同一source分发；原持久记录兼容，读回不授予执行或结算权限。
语义与 CI 对齐
advisory明确提示本次allowlist成员；判断为复用现有已注册RPC、扩展局部传输许可集合，不是新共享状态/actor生命周期。完整semantic smoke通过，未以advisory空结果代替契约判断。公开10路径原生边界扫描、typecheck、Ruff和diff检查通过。远程CI未查询/轮询/等待/触发；作者的premerge/CQR报告不当作我的执行证据，未宣称合并门或安装门通过。
我的整体评价
APPROVE，justified_increment；long_horizon=preserved，user_experience=improved。 成本窗口校验归既有benchmark-toolkit的TS诊断owner，Python只处理源文件与传输；复用现有私有snapshot和contained-path helper，避免复制quota的活跃会话记账权威。
当前PR交付完整会话成本事实的可用producer及大输入修复；保留既有数值UI和独立科学校准验收，不新增权限、模型执行或共享账本。
前瞻整理已经落在现有owner：共用contained-path与snapshot，不为完整窗口诊断复制活跃quota账本；相邻边界无需另加抽象。 #6683与#6686分别新增不同的snapshot方法许可；后续整合必须保留两者，本结论不资格化一个尚未执行的组合树。
现有研究工作台owner仍须完成数值呈现和打包前端旅程；源码producer通过不等于该产品旅程完成。 此COMMENTED仅记录当前代码结论，旧异议及讨论保留；不授merge/admin、替他人dismiss、安装或实验权限。
English verdict: APPROVE - b354aa7. Full exact-head source review and independent real CLI counterfactuals pass: Actual4500Turn CLI registration, discover, stored inspection and replay; all Turns/source lines retained; no job/result. 13 focused Python tests and8 TS tests; actual old8102/newb354 CLI against identical2,439,747-byte reduced request; exact optional-off register/discover/inspect parity; typecheck/Ruff/advisory→fullsemantic/all10path public scan/diff pass. Consumer/installed adoption and scientific/fleet qualification remain separate; no CI or merge authority is inferred.
|
Author follow-through for unchanged head The large-input review thread is resolved after the independent exact-head re-review; this closes that transport finding only. Current CI is not green. I read the individual completed job logs:
The immutable-base hosted runs independently recorded in the related CI attribution show those same failures. I additionally verified identical base/head blobs for both digest files, both browser scenarios, and the research-history backend. A fresh head run of the complete digest-owner module gives 16 passes and the same one failure. A fresh isolated production history backend returns HTTP 200 for No CI threshold, test or frozen experiment was changed. These failures remain open, not waived or labelled flaky. Numerical frontend adoption and packaged user-journey acceptance also remain separate from this reviewed producer slice; no merge or installation is claimed. |
|
Follow-up: a concrete cause for the research-history development-browser failure is now reproduced. The route glob I executed the installed glob compiler in isolation and the real disposable HTTP owner; this is not yet a passing browser repair. An endpoint predicate on URL pathname would exclude both page-navigation URLs while preserving status endpoint queries. The existing research-history product owner has the counterexample and proposed bounded fix; the independently reviewed producer head remains unchanged. CI is not waived. |
songoow
left a comment
songoow
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; GPT-6 family; OpenAI; self_reported; reasoning_effort=effort_unavailable
动机
比较求解轨迹效果与开销的证据整理者。 原先证据包没有与同一案例绑定的求解用量，逐 Turn 相加累计计数还会重复计费；现在可以选择完整会话来源，并获得去重后的 token 差值与时间区间。 真实注册、发现、检查和重放保留了 4500 个 Turn 的完整来源，未启动分析模型或生成新的分析作业。 该投影不是配额账本，不估算金额，也不证明模型评分质量或求解收益。 研究工作台的数值渲染和打包前端验收仍由既有 companion 负责，本源码阶段不宣称完整产品旅程完成。
评审固定在 b354aa7a55389e7b1068749b20a8a3c14735ffb8。规范/任务来源：https://github.com/loopx-project/loopx/pull/6683，版本 b354aa7a55389e7b1068749b20a8a3c14735ffb8；对应原有条目 Problem and result。 Boundary and remaining journey 保留为既有研究工作台 companion 的前端验收边界。
改动思路
Python 仅负责容器内文件路径和有界来源运输，完整会话校验与差值归约放在 TypeScript 的 benchmark-toolkit owner。 本 PR 交付现有研究工作台可使用的只读用量证据生产端，前端数值交互保留为明确的既有后续边界。 读取用量不会启动分析；未传两个用量参数时旧包身份和响应保持。重复累计观察不重复累加，缺前缀、分叉、未完成、重置和计数缺口均明确拒绝；缓存输入只作为输入子集。 已检查相邻 owner 和实际调用者；未来维护的决策仍集中在原有边界，未引入第二个权威。源码切片可以独立验证和回退，不把它扩张为完整父 RFC 的验收，也不要求增加与本缺陷无关的用户操作。
具体改动
关键代码讲解
-
summarizeTrajectoryCodexUsage：要求完整、未分叉的会话及有序测量，累计值减去上一观察，重复观察不重复相加。 先验证来源和原有状态，失败由原 owner 拒绝；成功只返回当前调用者所需结果，不产生新的执行授权。 -
_usage_capture：限定授权来源目录和内容摘要，仅将计数与生命周期字段送给既有 typed bridge。 先验证来源和原有状态，失败由原 owner 拒绝；成功只返回当前调用者所需结果，不产生新的执行授权。 -
register_pack：用量来源可选，缺省保持原包身份；发现和检查读回已绑定的历史证据。 先验证来源和原有状态，失败由原 owner 拒绝；成功只返回当前调用者所需结果，不产生新的执行授权。
读取用量不会启动分析；未传两个用量参数时旧包身份和响应保持。重复累计观察不重复累加，缺前缀、分叉、未完成、重置和计数缺口均明确拒绝；缓存输入只作为输入子集。 全部变更路径均按运行逻辑、公共说明和耐久回归分类检查；实际生产调用链是 trajectory-assess register → contained source capture → benchmark.trajectory.codex_usage → source-bound pack → discover / inspect。测试没有修改评分器、现有协议门限或标准 oracle。独立复现基线 8102aa9ddd02c081b5fad61040d54fb947e825e9：合法 4500-Turn 会话经真实 CLI 注册时以 oversized 拒绝，未生成证据包。 同一目标测试复制到隔离旧源码运行，旧产品代码未修改；当前提交上的真实入口通过。
本次独立执行：8 个 Python store 检查和 3 个 TypeScript reducer 检查通过。 这些是本次实际执行结果，未把作者其他环境中的完整 CI 数量当作自己的验证。通过和未执行范围分别保留；本地文件/typed runtime 是真实后端，测试数据与工作子进程是合成内容，不证明模型推理质量。
对主干的风险
最重要的回归方向是来源被截断或错误放宽后，成功回执掩盖错误的资格与历史。读取用量不会启动分析；未传两个用量参数时旧包身份和响应保持。重复累计观察不重复累加，缺前缀、分叉、未完成、重置和计数缺口均明确拒绝；缓存输入只作为输入子集。 当前负向检查覆盖了相关的错身份、缺失或损坏来源及重放/历史分支，真实入口检验避免仅 helper 通过。该投影不是配额账本，不估算金额，也不证明模型评分质量或求解收益。 研究工作台的数值渲染和打包前端验收仍由既有 companion 负责，本源码阶段不宣称完整产品旅程完成。 未执行本次完整托管 CI、完整已安装应用或长期模型实验；未发布新的 UI 第一屏。对已有前端消费者仅复核其沿用同一个后端读模型，作者提供的截图与打包结果不冒充本次独立浏览器验收。合并前仍须维持原有维护者授权和实际 merge-readiness。
我的整体评价
未发现当前提交上需要阻塞此源码切片的缺陷。Python 仅负责容器内文件路径和有界来源运输，完整会话校验与差值归约放在 TypeScript 的 benchmark-toolkit owner。 本 PR 交付现有研究工作台可使用的只读用量证据生产端，前端数值交互保留为明确的既有后续边界。 真实注册、发现、检查和重放保留了 4500 个 Turn 的完整来源，未启动分析模型或生成新的分析作业。 相关未来重构复核选择保留最近的既有 owner，避免新框架；剩余安装/前端/长期资格仍明确未完成，不以此审批替代。仅对本次精确提交给出源码评审通过，不授予合并或运行新实验的权限。
English verdict: APPROVE - b354aa7; independently reproduced the old real-caller failure and passed the affected head regressions. Existing installation, frontend and broader qualification boundaries remain separate.
|
This pull request has merge conflicts with Choose the remote for the base repository, not an out-of-date fork. git fetch upstream
git rebase upstream/main
# Resolve each conflict, git add the resolved files, then git rebase --continue.
git push --force-with-lease origin HEADFor a same-repository clone whose Keep the DCO |
mergify
Bot
added
the
needs-rebase
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
…ther Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
mergify
Bot
removed
the
needs-rebase
loopx-agent
left a comment
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6.1-sol; OpenAI; runtime_reported; reasoning_effort=max
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
HEAD: 9a36a7ab8e990b545bf5a4b7ea708bd3007f4a70
动机
受影响的是为研究案例整理实际求解用量的可信资料整理者。此前证据包只有分析判断，手工相加每轮累计计数会重复计算前缀，较大完整会话还会被普通传输上限拒绝。当前提交可在既有登记入口绑定完整会话，读回逐轮差量、缓存子集、时间窗口和来源失效后的历史值。
这是可独立验证的只读生产端增量。数值界面、完整研究成本、来源与真实研究运行的科学关联及评估器校准仍由既有研究工作台和研究 owner 验收。该投影不入账、不执行模型、不改 solver、评分、提交、预算或 checkpoint 时钟；不把未知成本记零。
依据先于本改动的 docs/reference/trajectory-assessment.md，不可变版本 937a011d9d507e499697046bcd86b9db0a925461：Coverage and interpretation 保留未知、区间以及缓存/推理的包含关系；Producer and consumer boundary 保留 typed 规则与 provider IO、账本的归属；Register a fixed case for the research workbench 保留授权根、身份和历史来源；Explicit execution and readback 要求读取不启动工作。以上在本切片得到验证；文末既有研究工作台 companion 的完整产品和科学验收仍保留，不以本 PR 新增文档自证完成。
改动思路
完整窗口及累计差分仍归 benchmark-toolkit 的 TypeScript 观察适配器，Python 只做授权根内文件读取、字段裁剪和运输。现有 quota reader 接受活跃的部分会话并负责幂等入账，不能替代本诊断，也不应被本诊断替代。
当前 PR 边界是可选捕获的登记、发现、检查和历史读回；复用既有受限 snapshot 传输，不增加普通 RPC 上限或另一套账本。已知来源由 Agent 准备，读者不需要额外填写文件路径或确认；完整工作台 companion 继续独立交付。
| 输入 | 结果与效果边界 |
|---|---|
| 两项 usage 参数均省略 | 原包身份与登记/发现/检查 JSON 保持 |
| 完整、同身份、有测量的会话 | 按累计差值生成数值，不调用模型 |
| 错身份、缺口、重置、未完或路径逃逸 | 明确拒绝，不降格为零用量 |
| 来源变化或缺失 | 保留原捕获并标历史；恢复相同字节后回到 current |
具体改动
完整差异为10条路径、+567/-18，覆盖 store/CLI、typed 数值形状与 reducer、lazy handler、两端 snapshot 方法白名单、参考文档和耐久测试。正常整合主干后保留 canonical digest、UTF-8 读写以及既有 checkpoint snapshot 许可，没有把这些相邻修复重新实现一遍。
_usage_capture复用_source_path，只运输 session、生命周期和三个 counter 字段，保存完整原文件摘要；原始正文、工具输出和额外账号字段不进入投影或分析输入。summarizeTrajectoryCodexUsage检查首行唯一未分叉身份、行号/时间顺序、单个活动 Turn、初始前缀、计数变化与完整结束。重复观察不重复累加；缓存属于输入，输出已含推理；跨度与轮内时间分别保留。_pack_id、register_pack与_usage_view将可选来源及投影绑定包身份，保持原 analysis key。源码变更不强迫重新评估相同模型证据；当前来源检查与历史数值独立，不新增执行授权。- CLI 的成对参数和两端精确方法白名单只接线到既有能力；普通2MiB帧与 snapshot 64MiB硬限、摘要和清理规则保持。共享 transport 的其他方法没有因新增方法失去许可。
对主干的风险
未发现本切片的阻塞代码问题。本轮当前源码17项 Python 检查通过，包含完整4500轮真实 CLI 登记/发现/幂等读回、8192成员完整 checkpoint 传输/恢复/删成员拒绝、原 artifact deadline 负例及普通超限/摘要边界；该组合139.24秒、93项未选择，未冒充完整 Python suite。28项 TS（含 snapshot 边界）、control-plane typecheck、Ruff、双语检查及完整语义检查通过。
同一4500轮目标测试放到不可变旧头 8102aa9ddd02c081b5fad61040d54fb947e825e9：真实 CLI 退出1，明确报 ordinary request oversized；当前头登记全部轮次，输入450000、缓存270000、输出45000，保留第2至13501行和每轮100输入。旧反例没有被截历史、放宽普通帧或更改断言消除。
另外独立执行同一文件/store harness，基线 937a011d9d507e499697046bcd86b9db0a925461 与当前头的 optional-off 完整 JSON 逐字段相等。小会话得到140输入、80缓存、60未缓存、15输出，跨度6秒、轮内4秒；绑定前和绑定后新建的未绑定包均无 usage，另一 owner 无法读取。正文哨兵被排除，来源改动后历史化并可恢复，0模型回执、0入账。
标准 premerge：6项直接检查通过，18项实际选择中17通过、1失败；另有 benchmark-sensitive 人工 hold。失败是 catalog-run-e2e-smoke.py 的临时仓库被追加选择一个不存在的维护性脚本。相同命令在不可变基线复现相同缺文件分支；catalog smoke、planner、runner 和维护性脚本在 base/head 摘要一致，受影响功能另有上述通过证据。因此不将该既有失败归因本 PR，也不把失败改写成绿色合并 gate。4个提交的 DCO 已核对；公开路径扫描通过。没有查询、轮询或等待 CI。
本次未独立重放作者报告的三个真实案例包，不据此宣称全研究成本、真实运行归属、科学收益或已安装前端。完整会话诊断继续拒绝 fork/缺口/未完窗口，活跃会话账本仍沿原 authority 工作。
我的整体评价
APPROVE 此 justified_increment。大来源的真实登记缺口已通过现有受限通道补齐，完整来源、旧默认和历史恢复有独立证据。未来维护检查已应用共用 contained-source、canonical digest 与 snapshot owner；保留完整捕获诊断和活跃账本不同语义有实际理由，不需要通用新框架。产品 companion、既有红色 canary 与人工合并 hold 保留；批准不授予合并、安装或模型执行权限。
English verdict: APPROVE - HEAD 9a36a7a; complete4500-Turn CLI and8192-member transport, optional-off parity, history recovery and scope negatives verified;17 Python/28 TS pass. The independently reproduced baseline catalog failure, benchmark manual hold and companion/scientific qualification remain separate.
|
This pull request has merge conflicts with Choose the remote for the base repository, not an out-of-date fork. git fetch upstream
git rebase upstream/main
# Resolve each conflict, git add the resolved files, then git rebase --continue.
git push --force-with-lease origin HEADFor a same-repository clone whose Keep the DCO |
mergify
Bot
added
the
needs-rebase
3 participants
Problem and result
Trajectory assessment packs need measured solver cost bound to the same inspected case. Adding cumulative session observations across Turns would count earlier work repeatedly. The existing pack registration, discovery and inspection flow now accepts an optional complete Codex usage capture and exposes input/cache/output tokens, per-Turn deltas and timestamp windows separately from model judgments.
--usage-jsonland--usage-session-idare supplied together. Omitting both preserves the previous pack identity and response shape. Changed or missing captures retain historical values; changed usage provenance creates a new pack identity without forcing reassessment of unchanged model evidence. Source containment remains mandatory, and only counter/lifecycle fields cross the local typed reducer boundary.Current integration
Current head integrates main through
937a011d9d507e499697046bcd86b9db0a925461using signed, normal merge commits. The one text conflict preserved both the usage tests and main's UTF-8 regression import. Canonical digest reuse, UTF-8 reads and the independent checkpoint transport permission remain intact. The Python and TypeScript snapshot allowlists retain bothbenchmark.trajectory.codex-usageandruntime.checkpoint_artifacts, together with the existing methods.A valid 4,500-Turn reduced capture exceeded the ordinary 2 MiB RPC wire. This method uses the existing explicit private snapshot channel with its unchanged 64 MiB ceiling, digest and permission checks. It neither enlarges ordinary RPC nor truncates history. No capture deadlines, benchmark budgets or scoring semantics are changed.
Validation
The earlier hosted failures were read individually: canonical-digest duplication, a backup UI saved-revision visibility failure, research-history navigation interception, a frontstage link expectation and downstream aggregation failures. Main supplies the digest/history/frontstage fixes; the unrelated backup behavior is not claimed repaired here. Goal review policy disables CI waiting. Current remote jobs are not claimed green, and this proposal still needs new exact-head independent review and merge readiness.
Owner and remaining journey
Existing owner:
benchmark-toolkit, built-in Codex observation adapter. TypeScript owns complete-session window validation and reduction; Python owns contained file IO and transport. Quota accounting remains the live ledger authority and may accept partial active sessions; this diagnostic deliberately rejects incomplete, unmeasured, forked, mismatched, reset or gapped captures. It never books usage or grants model execution, solver, score or submission authority.The existing workbench consumer remains a companion acceptance: packaged numeric rendering, native-outcome composition, refresh/recovery and scientific calibration are not certified by this producer PR. The integration changes no usage fields, coverage/refusal rules, method version or identity design for that consumer. There is no first-screen UI change here.
Future-facing pass retained the shared contained-source helper and reused main's canonical digest/UTF-8 owners. The snapshot implementation already owns bounds, hashes and cleanup; no extra abstraction or parallel accounting owner was added.