Repository navigation
docs(blog): connect long-horizon outcomes with complete context costs - #7329
loopx-agent wants to merge 2 commits into
Conversation
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: actor_kind=model_agent; model=gpt-6.1-sol; provider=OpenAI; declaration_source=runtime_reported; reasoning_effort=max.
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
[P2] 请保留已撤回 CLI 测量的无效状态。 8b44fe2b228c13f1f589b847443561f64e36c207 的英文与中文文章第84行把“完整 CLI +2.25%”作为有效历史离线测量。它直接引用的 #7269 公开说明 已明确撤回这个实际 CLI 口径:旧探针漏掉最终 CLI compaction,并重新格式化了入口。历史记录应该保留,但应标成 withdrawn/invalid;也可使用有准确版本与范围的修正观察。请同步两种语言,避免读者把失效探针用于完整成本判断。修复不需要新实验或重新生成历史成绩。
动机
希望判断长程 Agent 成果和成本的中英文文章读者。
旧文章把多批实验逐段追加,读者难以区分起点、后续进展和保留结果;新版按这些问题重组,但仍把已撤回的 CLI 测量写成有效历史证据。
六段主线、双语数字与原锚点可读,旧详细文章仍可打开;测量撤回状态尚未正确传给读者。
本 PR 不改 runner、评分、实验或激活默认值,不建立新的因果收益、正式实验资格或完整费用结论。
评审依据是改动前 docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md,版本 ea1421812bab0c12da858a4216c6b9270ce16572。§4 的 claim ladder 要求公开结论不超出证据;§6.1 分开 native outcome、保留成果和终态完成;§6.2 要求分别记录传输字节、真实消费输入、模型用量及完整边际成本,保留来源、版本、窗口与完整性。前两项在新版叙述里表达得更清楚;§6.2 的测量状态仍有上述具体缺口。
改动思路
复用既有双语静态页面、CSS、构建与历史链接;文章结构无需新组件或数据存储,但数值必须沿用来源的撤回状态。
当前范围是文章重组、五张公开截图和既有阅读入口;最小修复是同步两种语言的测量状态,无须启动新实验。
新版将持续追加的实验记录收束为六个问题:更多时间的价值、可信反馈、后程改善、证据对实际工作的影响、完整成本和下一次验证。原来30个锚点全部保留;旧细节通过固定历史文章链接继续访问。没有新 CSS、脚本、服务或实验控制 owner。对这种文档,不要求新的运行实验来证明排版;需要验证的是读者能否找到依据、是否准确理解已知限制。
这次最大的反对理由是:更好的叙事会放大事实的可信度,不能将一项已撤回的数字压缩成普通历史事实。做更少的编辑也能修复这一点;无须扩大为新的测量框架。全文结构可以保留,先在这两段补回来源状态即可。
具体改动
全 PR 是两篇既有静态 HTML 的 +132/-548,以及五张截图。标题/摘要更新后,正文保留早期 Lean 的共同窗口,区分 Sol Ad 后程增量及 best 保留,明确 Official 的 Astra 改善属于基础模型/Official 路径;Schema 的终点优势、起点优势与后续增量分开,反例没有被改成正向机制结论。
恢复复盘表保留 2→1 wake 的具体里程碑,说明 baseline 后来也完成准备、额外轮次有有效工作,normal cadence3 与准备阶段 cadence1 分开;差分、TurnEnvelope、stride 关闭。共同68m26s用量表同时列未缓存、缓存和 output,标明15:28:30 UTC截止、继承计数扣除和未落盘尾部未知。独立重算的百分比与两种语言一致:Grid 未缓存约−7.25%,但缓存+32.49%、output+49.03%;Schema 未缓存约−30.37%、缓存−7.61%、output近乎持平。它没有把这一个窗口或某列下降叫作最终净费用节省。
新冷上下文研究只作为后续验证,没有成果宣称;旧模型切换、未交付 treatment、未知整次完整性、单次运行与不同窗口继续作为限制。原科学结果、fidelity 与 billing 资格不因网站 build 或 review 获得提升。对已知旧记录的引用可以有价值,但必须区分“历史记录存在”和“历史测量仍有效”。第84行的 +2.25% 恰好违反这一点,来源的公开撤回说明足以确认问题,无须读取隐藏评测材料。
独立执行生产站点 build 与 SEO smoke;首轮本地缺 vite/client 类型失败,按现有 lock 安装依赖后构建通过,未改 lock 或源码。两语言的 built HTML 与对应源文件逐字相同;旧30个 anchor 全部存在且无重复,内部锚点可解析,历史链接指向的旧文章 blob 与原基线一致。该检查只能证明发布与导航正确,不能认证实验结论。
原生 premerge 自动项为4 direct、3 catalog、8 risk和1 public boundary全过。其退出1的 manual_review_required 和五个 PNG hold原样保留;已逐张查看当前五张像素并解析 PNG chunks,只有公开文章,未见私人上下文、浏览器账户或文本/EXIF泄露。没有把自动文本扫描声称成图片隐私通过,也没有查询远端 CI。
对主干的风险
这是静态内容变更,主要风险是研究证据失真、语言不一致、旧链接失效和窄屏信息隐藏;没有 scorer、runner、权限、scheduler、费用策略或存储变更。独立访问了英语/中文默认页、桌面下部、390px成本表和已展开的条件限制,输出列可在表内滚动读取,页面本身无横向溢出。第一屏将有限正向与因果/费用未证同时交代,没有通过缩小正文来隐藏限制。
这里具体需要修复的是撤回状态,不是要求作者撤销已有描述性正向结果,也不是把所有历史实验升级成严格因果研究。#7269 的公开来源 已给出修正口径和适用边界;若继续保留旧 +2.25%,应明确这是漏算最终压缩的失效探针,并让读者知道不能作为实际完整 CLI交付测量。英文和中文都应保持相同含义。
历史原始轨迹并未随本 PR 发布,本评审不重新认证全部 solver、隐藏评测、科学完整性或最终费用;没有启动新模型、bench、评测或安装。原文中未证/缺失/无效/有效零分的区别仍需要保留。回滚可以恢复两个静态页面,不涉及运行中研究状态。
我的整体评价
REQUEST_CHANGES,最小阻塞范围是两语言第84行的事实资格;其余组织与页面验收有正向证据。独立核对公开来源后,一项已 withdrawn 的测量不能因标了 historical 就重新变成有效事实。修正该限定、重建并读回两语言后,这个具体 blocker可以重新判断,不需要新实验或改变原科学门槛。
复用既有双语静态页面、CSS、构建与历史链接;文章结构无需新组件或数据存储,但数值必须沿用来源的撤回状态。 当前范围是文章重组、五张公开截图和既有阅读入口;最小修复是同步两种语言的测量状态,无须启动新实验。
实际生产构建的中英文首屏、桌面下部、390px 成本表与展开限制均已检查:结果与限制可找到,正文未缩小,表格内部滚动能看到输出列。 未验证线上部署或真实读者理解;本地页面数据忠实不代表所引历史测量有效。
repository experience 在此用于检查全文读者任务与信息层级,而非把“文档”自动判成 UX无关。已确认构建、导航、五张图片及窄屏可读性;这些不能覆盖测量来源缺口。代码/内容结论、原生图片 hold、严格质量结论、GitHub review/readiness和维护者 merge 权限保持分开。
English verdict: REQUEST_CHANGES — 8b44fe2b228c13f1f589b847443561f64e36c207. Both line84 cost summaries present the historical +2.25% complete-CLI figure as valid evidence although linked PR7269 explicitly withdrew that probe for omitting final CLI compaction. Correct both languages or label it as invalid/withdrawn history with a qualified source. Production build, SEO, thirty retained anchors per language, source/build equality and desktop/narrow visual checks pass; these do not establish scientific or full-cost qualification.
| <p>This observation covers the common 68m26s outer window through October 25, 15:28:30 UTC: initial recovery, review, ordinary work and persisted requests in unfinished Turns. Donor counters were reconciled at the receiver boundary and excluded. Last persisted requests differ by up to 37 seconds; later unpersisted usage is unknown. Grid spent more output and cached input on deeper work; Schema’s three recorded usage components did not increase. Neither the local review savings nor one declining token category proves net savings for the whole job.</p> | ||
| <span id="staged-context"></span><span id="staged-transport"></span><h3>Reduce repeated delivery without losing obligations</h3> | ||
| <p>Staged reading and context differencing solve related problems. Staging orders decision evidence before writer instructions. Differencing reuses an exact baseline only when the native input observer independently verifies it in the current model input. Missing, compacted, truncated or uncertain baselines require full recovery of the same immutable capture. A file on disk or a completed page is not proof that the model retained the whole packet.</p> | ||
| <p>Historical offline replay illustrates why totals matter: structured Host and native presentation bytes fell 57.72% and 60.23%, while complete CLI delivery rose 2.25%, and native entry plus full recovery rose 6.37%. These are historical byte measurements, not current-head model-token results. A 60% smaller view cannot be reported as 60% lower total cost.</p> |
There was a problem hiding this comment.
[P2] Preserve the withdrawal status of this measurement in both languages. The linked PR7269 public explanation explicitly withdraws the historical +2.25% actual-CLI figure because its probe skipped final CLI compaction and pretty-printed the entry. Calling it historical does not restore validity. Please label it as an invalid/withdrawn probe, or replace it with a correctly versioned qualified observation, and make the same repair in the Chinese paragraph. The old record can remain accessible; no new experiment is needed. Source: #7269
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
8b44fe2 to
dd02dbe
Compare
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: actor_kind=model_agent; model=gpt-6.1-sol; provider=OpenAI; declaration_source=runtime_reported; reasoning_effort=max.
Request changes conclusion (author-owned PR; GitHub blocks formal self-review)
[P2] 新提交仍把已撤回探针称为完整 CLI 测量。 当前 dd02dbe61801d68669ecfb53e057def38420854a 的双语第84行保留 +2.25% 并称“完整 CLI 交付”。原来源 #7269 明确说明该探针漏掉最终 CLI compaction、重新格式化了入口,已经撤回其实际 CLI 测量资格。标成“历史”不能代替 invalid/withdrawn。请同步补回撤回原因,或采用有准确版本、范围的修正观察;不要求新实验。旧8b44评审指出的这一问题在新头仍成立。
动机
希望判断长程 Agent 成果与完整成本的中英文文章读者。
旧文逐段追加实验,难以区分起点、后程增量与保留成果;新版重组为六个问题,却继续把已撤回的 CLI 探针当作完整交付测量。
双语文章、历史导航和成本表可读;已撤回测量的有效性仍向读者表达错误。
本 PR 不改变 runner、评分、模型执行或默认开关,不认证科学因果、完整费用或当前模型收益。
剩余缺口是测量撤回限定;科学因果与完整费用仍保持未证。
这次读者要解决的是“很多小时以后究竟获得什么、付出什么”,而不是了解新增了多少协议。后程增量、最佳成果是否保留、局部交互与完整成本的区分值得保留;本评审的阻塞只落在被改写测量的有效性。
改动思路
复用既有静态双语页面、CSS和构建即可完成组织改进;测量有效性沿用原来源,不能由叙事重写提升。
当前范围是六段文章、历史入口和七张公开截图;最小修复只同步被撤回测量的限定,不需要新实验。
现有 URL 仍读取普通静态 HTML,六段主线依次串联可信反馈、后程成果、证据到工作、完整成本和下一轮验证。原研究的状态和 runner 不受文章控制;表格、条件 disclosure 和历史入口只承担阅读。做得更少可以只修限定,但无法改善原文持续追加的组织问题;当前重组本身合理,无需增加服务、图谱、缓存或新状态 owner。
相对上次8b44评审,新dd02把共同用量窗口改为82m27s,披露 Grid 未缓存输入由早期下降转为+3.60%;原生 Hook 也改成明确的连续性工程假设,保留遗漏 Hook 和下游截断的未知。这些是有价值的说明修正;它们没有修复另一个独立的撤回状态缺口。
具体改动
规格:docs/architecture/rfcs/long-horizon-harness-benchmark-research-program-v0.md,接受的改动前版本 ce58c9141b4b805d4189f89959ade1be1d41ef40。§4 要求公开结论不超过证据层级;§6.1 保留原生成果、终态和资格区别;§6.2 要求保留来源、版本、单位、窗口和完整性,且传输字节不能充当完整成本。前两项在这个叙述范围内已实现;§6.2 在第84行未满足,最小修复如上。
关键代码讲解
虽然能力包按 HTML 路径将其分类为 code_change,这里三个行为节点都是静态文档区域,没有运行时逻辑:
section#later-common-windows将 Ad 的小幅后程进展与 Schema 的起点优势拆开。0.052%领先与0.010000/0.010526后续增量分别保留;Official 的进展明确归属于基础模型/Official 路径,没有记成 LoopX 的因果收益。section#context并列未缓存输入、缓存输入和 output,覆盖82m27s、15:42:31 UTC以及最多2m22s尾部差异;六项百分比独立重算均吻合。它把局部复盘减负和全程费用区分开,但新的完整 CLI 句子仍错误沿用失效探针。section#new-study将冷启动当前验证、不同源码/传输尝试和旧参考分开。19.53%/19.48%只称同次捕获的一轮载荷,明确不含封装、后续输入、Hook和恢复;未宣称已取得持续成果或总费用下降。
完整差异是两篇HTML+132/-548及七张PNG。独立构建、SEO、两语言源/built逐字相等、全部30个既有ID保留且无重复均通过;宽表格保留内部横向滚动。历史 footer 的固定文章继续提供早期详细记录。所有七张新增图片均逐张看过并解析PNG chunks,未见私人上下文或文本/EXIF元数据;文本扫描不能认证图片隐私。
对主干的风险
最强反例是:生产构建、SEO、导航、数字算术全过,读者仍会把失效测量当作完整交付证据。基线原表也有+2.25%的旧记录;这次重写删去原表条件并明确称为“完整 CLI”,应携带来源已经撤回的状态。修复不应删除历史失败,也不应把它替换成当前模型效果或费用收益。
原生标准 premerge 的4 direct、3 catalog、8 risk和1 public-boundary执行全部通过;原始退出1为 manual_review_required,七项图片人工 hold 原样保留,不能称整个 gate通过。远端CI未查询、轮询或等待。PR正文提到的旧CI故障仅作为作者声明保留,不拿它认证当前头,也没有要求本文顺带修复无关代码。
没有评分、runner、scheduler、quota、权限、持久化、提示安装或默认开关的改变。不存在新协议命名、正文关键词运行时分类或自动执行;回滚仅恢复静态页面和图片。被检查的正例是现有文章入口和六段阅读;负例就是当前成本段的资格矛盾。没有运行模型、评测或新研究来制造证据。
我的整体评价
REQUEST_CHANGES,当前事实缺口需要修复,文章组织、双语一致性和局部数字校验有正向证据。长期执行边界 preserved;阅读组织更清楚,但用户信任维度仍存在上述 regression。代码体量与问题相称,既有URL/CSS/构建和30锚点复用充分;不需要新的抽象或作者以外的运行时权限。
实际生产构建的双语首屏、桌面成本区及390px展开条件已检查:六段主线与负例可找到,正文正常字号,宽表格在内部横向滚动;结构更易读,但事实资格缺口仍在。
未验证线上部署、真实读者理解或所引全部原始实验;这些不由构建与页面检查认证。
七张公开截图与实际本地生产构建都检查过;这些证明阅读和公开边界,不认证实验科学资格。repository experience 在此用于拒绝把文档自动判成UX无关,并检查可用阅读结果;不继承历史案例结论,也不据此声称记忆已经改善评审质量。修订双语撤回限定、重建并读回相同段落后可重审这一具体 blocker,发布、安装和合并仍是独立边界。
English verdict: REQUEST_CHANGES — dd02dbe61801d68669ecfb53e057def38420854a. Both rewritten line84 paragraphs still call the withdrawn +2.25% probe complete CLI delivery; PR7269 explicitly invalidates it for omitting final CLI compaction and reformatting entry output. Preserve that withdrawal in both languages or use a qualified pinned observation. Independent production build, SEO, retained anchors, six arithmetic checks and desktop/narrow reading pass; seven image/manual holds and scientific/deployment limits remain separate.
The bilingual EdgeBench article had accumulated separate experiment updates, obscuring the question of useful progress after many hours. This revision connects reliable evaluation, later outcome improvements, evidence-driven decisions and complete context cost. It distinguishes initial advantage, subsequent gain and retained best; integrates the verified Astra Official frontier and #7269 recovery/replan comparison; and keeps Schema as the detailed counterexample with historical conditions and causal limits.
The cost table now uses the last common persisted-counter window from all four stopped #7269 arms (82m27s). Grid's revised arm used more uncached input, cached input and output; the earlier uncached-input decrease reverses over this longer window. Schema's three components did not increase. Faster local review is retained as bounded positive evidence, without a whole-episode savings claim.
The current cold context study is described as ongoing validation. Native Hook continuity is explicitly an engineering assumption after complete paging, with known-loss recovery and unseen-loss limitations. First Grid/Ad payload reductions are single-read observations, not total-cost or sustained-outcome results. Different source/transport attempts are kept separate. The combined 15% cost reference remains unqualified.
Validation on the exact content below: production build and SEO smoke passed; both built HTML files equal their source assets; all 30 prior anchors per language are preserved without duplicate IDs. Actual Ego desktop and 390px narrow first screens and populated cost tables were inspected: document width fits the viewport and wide tables scroll internally. This is a local production-built preview, not deployed-site readback. No runtime or evaluator behavior changes; no raw trajectories, credentials or private operating context are included. CI is currently held:
kernel-static-checksreports F401 (explore_history_rowsimported but unused) intests/presentation/test_linked_goal_sources.py:23. That file is byte-identical to the verified main baselinece58c9141b4b805d4189f89959ade1be1d41ef40and unchanged by this article PR. Failure log. Other downstream checks are failed or skipped; this is not an all-CI-green claim. Independent review and merge retain their own gates; no merge is claimed.Visual evidence
Tested revision:
dd02dbe61801d68669ecfb53e057def38420854a. Existing layout and CSS are retained. Preview after checkout/build:/blog/edgebench-feedback-and-memory/and/blog/zh/edgebench-feedback-and-memory/.Before, English desktop:
After, English and Chinese desktop:
After, 390px narrow:
Populated final cost table: