Skip to content

test: add reproducible harness containers and layered packet capture - #8

Merged
CN059 merged 2 commits into
devfrom
test/testkit-harness-containers
Sep 11, 2026
Merged

CN059 merged 2 commits into
devfrom
test/testkit-harness-containers

Conversation

@CN059

@CN059 CN059 commented Sep 11, 2026

Copy link
Copy Markdown
Member

对应 issue

Refs #2 ——「希望能够添加本项目统一的测试框架」。

issue 里的诉求 本次
本地备好容器,最好是某个具体 harness 的现成测试工具 每个 harness 一个薄镜像,matrix.json 登记;just testkit-build 构建
快速启动一个干净的 harness 一次性容器,依赖按 lockfile 构建,不挂宿主配置;cases.json 驱动
方便地抓包、分析数据 L7 脱敏 NDJSON + L4 pcap 原始字节,全部落 artifacts/testkit/runs/<run-id>/
不用再去后台日志里翻对应的那一条 X-Test-Trace-Id 打通 tap 与供应商侧;case-runs.jsonl 记录每个用例的抓包行区间,可按用例切片

不覆盖的部分

  • 被测网关不在链路里:当前是 harness → tap → mock,验证的是测试台本身,不是插件逻辑。接真实栈只需扩 CAPTURE_HOPS 并复用 deploy/compose.test.yaml。
  • 单 harness 的交互式驱动还没做(现在只能 docker compose run --entrypoint bash),issue 里"可以直接使用的工具"目前只覆盖到批量用例这一层。
  • reject 判据已实现但 0 条用例,等网关接入后第一个"缺身份必须 400"的用例才会启用。
  • 抓包只有 entry 一个 hop。

验证

TESTKIT_APT_MIRROR=http://mirror.rackspace.com just testkit-build   # exit 0,含一次 --no-cache 冷构建
just testkit-check                                                  # 17/17
just testkit-poc                                                    # 24/24 PASSED
  • reply 4/4:opencode 与 kimi 各 first → resume,回复逐字节匹配;resume 由 mock 的严格历史校验背书
  • probe 7/7:两个 harness 的身份供给与 matrix.json 声明一致
  • capture 13/13:NDJSON schema 完整、凭据全脱敏、SSE 识别为 streaming、tap 与供应商侧 trace 一致、pcap 可被 tcpdump 解析
  • case-runs.jsonl 的用例窗口覆盖全部抓包行,无遗漏无重叠

探针做过负向验证:故意改错 matrix.json 的 session_identity 后,断言以 declared ... observed ... 失败并 exit 1——不是只会通过的检查。

说明

CI 按维护者意见不涉及 testkit,check-matrix.sh 与 smoke.sh 目前手动执行;harness 版本或 lockfile 漂移要等下次手动运行时才会暴露。

适配本机没有安装、或被手工改过的 harness 时,测试环境既不干净、准备又繁琐;agent 还
得先装 CLI、抓包看请求头和请求体、再回到后台日志里翻出对应的那一条,中间浪费大量
token 和时间。把 harness 做成按锁文件构建的一次性容器、并把每一跳都留证,可以让
agent 直接启动一个干净的客户端并立刻拿到可断言的数据。

新增 testkit/:每个 harness 一个薄镜像(依赖由 bun.lock / uv.lock 锁定,工具链只按
官方 tag 取);统一 run.sh 契约让 runner 不认识任何 CLI 语法;L7 tap 出脱敏 NDJSON、
L4 tcpdump 共享 tap 的 netns 抓原始字节,两层靠 X-Test-Trace-Id 关联;mock 上游离线
确定,并严格校验会话历史,所以 resume 造假会直接失败。

Refs #2
批量用例只能覆盖"一个 prompt 一个回复"的形状,带 PTY 的交互式功能(旁会话、
分叉、TUI 斜杠命令)用它测不了;而手动起容器拿到的又是没配好的空容器,环境
变量、provider 配置、HOME 全得自己拼。把 run.sh 的前置准备和请求发送拆开,
就能在同一个干净环境里既跑批量用例、又交给人或 agent 手动驱动。

- run.sh 增加 MODE=shell|exec:做完 HOME/XDG 与 provider 配置准备后交出控制权
- 用 script -f 把整段终端录到 logs/terminal.log,实时 flush、退出码透传
- 新增 enter.sh 与 just testkit-shell / testkit-exec 两个入口
- 交互 shell 刻意不用 login shell:/etc/profile 会重置 PATH,把 harness 自己的
  node_modules/.bin 丢掉,banner 刚推荐的命令会 command not found
@CN059

CN059 commented Sep 11, 2026

Copy link
Copy Markdown
Member Author

#2 主要问题基本解决

@CN059
CN059 merged commit e113459 into dev Sep 11, 2026
2 checks passed
@CN059
CN059 deleted the test/testkit-harness-containers branch September 11, 2026 06:48
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant