Skip to content

CI は配るものを毎回全部確かめ、確かめたものを配る - #647

Merged
neguse merged 62 commits into
masterfrom
ci/web-all-tests
Nov 21, 2026
Merged

neguse merged 62 commits into
masterfrom
ci/web-all-tests

Conversation

@neguse

@neguse neguse commented Nov 20, 2026 •

Copy link
Copy Markdown
Owner

問題

CI は配るものを全部は確かめておらず、確かめたものを配ってもいない。そのうえ、確かめることの少ない検査に時間を使い、長い直列の job が終わるのを待っている。

  • 配るもの
    • サイトは 3 回 build していた。検査用の build (--mode test) を web-verify と web-export が確かめ、--base /lub/ の build は配らず、deploy は別に作った production の build を載せていた。deploy するものは、どの検査も通っていなかった。
    • release の一式 (docs/release-kit.md、5 つの target) と iOS の simulator での実行は、tag の push と release.yml を変えた PR でしか走らなかった。arm64 の 2 つの target は PR の CI で 1 度も build していなかった。
  • 走らせていない検査
    • tests/cs の runtime テストは、Linux の既定の backend の vulkan では 14 本だけ、.NET 実行では 2 本だけ、web の player の page では手で持つ一覧の 38 本だけを走らせていた。どれも、走らせない理由がどこにも書かれていなかった。
    • lider のかな漢字変換 (CI に辞書が無いので test が飛ぶ) と、入口の page が保存した .cs を整形して書き戻すことは、どの CI でも確かめていなかった。
    • changes job が、変えた path で job を飛ばしていた。どの変更が何に効くかは管理できないので、飛ばした分だけ確かめていないことになる。
  • 確かめることの少ない検査と、他と重なる検査
    • サンプルの capture は、tcs VM の player と .NET 実行の C API の呼び出しの構造の hash の最初の 30 行を比べるだけで、digest が空でも通っていた。
    • サンプルの golden (Windows、macOS、web、samples/ngs) は「前と同じ絵か」だけを見ていて、落ちたら撮り直していた。backend の正しさは tests/cs の assert と readback が見ている。
    • windows の job の個別の step 13 本は、後の loop が同じ entry を同じ引数と debug layer で走らせていた。native gate の docs lint は lint の job と同じだった。
    • tcs-compare-check は比較ベンチの手書きの各言語の版の出力を照らし合わせていて、lub も tcs も通らない。tcs-bench-2backend は時間を出すだけで判定しない。tcs の SelfHost/build.sh の比較は、SelfHost/native.sh が全部含む。tcs-native の job は、一式の build が呼ぶ native.sh と同じことをしていた。
    • tcs-selfbench は判定に使わない時間を 5 回 × 2 tree × 4 つの組で測っていた。
  • 遅さ
    • 固定費: どの job も submodule を 6 つとも 1 つずつ取り、lub の compile を毎回まっさらから行い、windows は image に無い .NET の SDK を毎回取っていた。selfbench は毎回 base の tcs を build して測っていた。
    • 直列: linux の native gate は 1 つの job で約 370 秒、tcs-test は 1 つの job で約 410 秒かかった。tcs2c.Tests の DifferentialTests は 1 つの partial class なので、xUnit が 548 件を 1 件ずつ走らせていた。windows は tests/cs を 1 本ずつ、vm project の 13 本も 1 本ずつ走らせ、web の A9 は 1 本ずつ新しい page で PASS の後に毎回 1 秒待っていた。

変更

毎回全部を走らせ、確かめたものを配る

  • changes job を外し、全部の job を毎回走らせる。gate は待つ job が全部 success のときだけ通す。
  • サイトは web-build が npm run build を 1 回だけ走らせ、その dist (web-dist) を web-verify と web-export が確かめ、master の push で deploy がそのまま載せる。player の page (web/player/main.ts) は起動の argv と env を setFiles の postMessage だけで受け、URL の ?argv= と ?env= の口を外す。deploy は master のときだけ走る。
  • release.yml の kit (5 つの target) の job を ci.yml に移し、毎回走らせる。
    • iOS の simulator での実行は .github/workflows/ios.yml に分ける。PR では走らせない。master の push では ios.yml が単独で走り、落ちたらその commit の check が失敗になって分かる。tag (v*) の push では ci.yml が ios.yml を呼び、publish が gate と ios を待つ。
    • master の run (deploy する) は直列のままにする。tag の run は ref ごとの group にして、master の run を待たせない。
    • 一式の OS によらない物 (web の tcs VM の player、lider の bytecode の Lider.tcsb、かな漢字変換の辞書) は web-build が作って kit-common に上げる。サイトが配るものと同じ build である。
    • kit の job は needs で web-build を待たず、自分の build の後で kit-common の artifact ができるのを待ってから固める (scripts/ci-fetch-artifact.sh)。web-build が落ちたら待たずに落ちる。web-build は kit-common を、要る物 (lub の player の wasm) ができた所で上げる。
    • tag (v*) の push では、gate と ios を通った一式を publish job が GitHub の release に載せる (- を含む tag は prerelease)。release.yml は外す (workflow は ci.yml と ios.yml の 2 つ)。

外す検査

  • サンプルの capture。サンプルの検査は tcs check と tcs vm の変換になる。
  • サンプルの golden: tests/golden/ のサンプルの画像 (60 枚) と tests/golden/ngs/、scripts/ngs-golden.sh、web-golden の job と web/scripts/golden-web.mjs、scripts/run-test-golden.sh、golden の撮影中だけ debug UI を消していた samples/19_sdf の分岐。scripts/run-golden.sh は描画を golden で見る tests/cs の 5 本 (cs_visual_tests) だけを撮る。
  • windows の job の重なる 13 本の step。debug layer が読み込まれたことと pass の GPU の時間を測れたことは、loop の log で見る。
  • native gate の docs lint、web-verify の shard 3 と --base /lub/ の build。
  • tcs-compare-check、tcs-bench-2backend、tcs-native の job と tcs/SelfHost/build.sh。script は手で走らせる道具として残す。
  • tcs-selfbench は --tasks vm --hosts native --runs 0 で、C の tcs の tcs vm の命令の数と managed heap の最大だけを測る。run.py は --runs 0 なら時間を測らない。

足す検査

  • tests/cs の runtime テストを、Linux の LUB_BACKEND=sdlgpu と LUB_BACKEND=vulkan の両方で一覧の全部を並べて走らせる。一覧と同じ引数で vulkan を個別に走らせていた 11 本は外し、引数の違う起動 (--readback-fixed-latency 無しの TestReadbackFixedLatency と TestReadbackNoWait、一覧に無い TestDrawStateReuse) は残す。TestUnboundAfterBound は vulkan と sdlgpu でも通るので一覧に入れ、d3d12 と metal でもこれで走る。
  • tests/cs の runtime テストを .NET 実行でも走らせる。
    • dotnet/SampleRunner の -p:Tests=true が tests/cs の全部と cs-lib を 1 つの実行ファイル (bin/tests/lub-sample-tests) にし、test は tcs VM の player と同じく --entry <Entry> で選ぶ。test ごとの -p:Test=<Entry> は外す。
    • 走らせると facade が tcs VM の host と違う振る舞いをする所が 4 つあったので、generator (tools/lub-gen/Facade.cs) と土台 (dotnet/Lub/LubRuntime.cs) を tcs VM に揃えて facade を作り直す。query の visitor の例外は最初の 1 つを控えて query を null にする。見つからない結果は null (struct の record は 0 の値) を返す。handle の Version は ref にする所で一度だけ引く。bit mask の hex は 1 文字ずつ桁かを見る (末尾の NUL を通さない)。
    • TestFixedDt、TestSaveDir、TestReadbackCapture を両方で同じ引数で走らせ、scripts/test-bindings-digest.sh は .NET 実行の Bindings の digest が tcs VM の player と一致することも見る。
    • .NET 実行で走らせないもの (App.Use、App.Inputs、Gfx.Pick の Site を使う 10 本) と理由は scripts/cs-tests.sh の cs_dotnet_excluded の上に書く。
  • web の player の page で tests/cs を全部走らせる (web/scripts/verify-player.mjs)。
    • 一覧は scripts/cs-tests.sh の cs_all_tests を読み、web で走らせない cs_web_skip_tests (TestReadbackOnQuit だけ。理由はその上に書く) を除く。手で持つのは、起動の引数や env や page の用意が既定と違う run だけで、そこに cs_all_tests に無い名前があれば失敗にする。
    • 合否は native と同じく終了コードで見る (runtime が env の LUB_EXIT_FILE に書いた値)。0 でも WebGPU の validation error か page の error があれば失敗にする。無い entry を開いて終了コード 1 が書かれることも見る。
    • 描画を golden で見る cs_visual_tests は native の golden と同じ frame を capture して、PNG が書かれたことを見る。絵は native の golden が見る。
    • 走らせて見つかったものを直す。player の page は ?w=&h= を付けたときだけ MainTex の大きさを決め、付けなければゲームの window の大きさで描く (TestPick、TestPickFrame、TestWindowSize が MainTex の外を指していた)。src/vm_player.c は web でも Quit を経ない失敗の終了コードを 1 にする (起動に失敗した player が 0 を書いていた)。chromium に --disable-audio-output を付ける (headless の chromium が音の device に出そうとして Web Audio の時計が止まっていた)。TestGpuPassTime は測れた pass が届くまで 60 frame まで待つ (Sys.TakeGpuPasses の説明のとおり、時刻が届く前の pass は -1 で届く)。TestKeyMods の key は毎 frame 流す。slang の global session は最初の compile のときに作る。
    • 音の library の miniaudio (third_party/miniaudio/miniaudio.h) の Web Audio は、AudioContext の suspend() と resume() の promise を受けず、終わるときに suspend() の直後に close() を呼ぶ。状態の移りを仕様のとおり非同期に済ませるブラウザでは、close() が済んでいない promise を拒否し (AudioContext is closed.)、すぐ終わる game の page に unhandled rejection が出る。この 3 か所で拒否を受けるようにする (upstream の最新版も受けていない)。verify のブラウザは、この振る舞い (AudioContextAsyncStateTransitions) を常に有効にする。
    • page の error で待つのをやめても、終了コードがもう書かれていれば、それで判定する。
  • CI の linux の lider の job は、かな漢字変換の辞書を lider/scripts/build-dict.sh で作り (build-dict.sh と jamo の submodule の commit を key にして cache する)、辞書が有ることを確かめる。lider/tests/ime と lider/tests/editor/ime が変換を確かめる。
  • web/scripts/verify-lider.mjs の L10 は、空白を詰めて書いた .cs を保存し、入口の page が整形して書き戻すことと、整形をやめる警告が出ないことを見る。

速くする

  • 固定費
    • submodule は job ごとに要るものだけを --depth 1 --jobs 8 で並べて取る。
    • lub の compile は ccache を通す (Linux、macOS、web、kit、ios。Windows は MSVC の cl)。ccache は版を固定して release から取り、hash を確かめる (scripts/install-ccache.sh)。cache は PR 以外 (master の push と workflow_dispatch) が保存し、PR は読むだけにする。kit と ios は第三者の library (deps) と prebuilt も cache する。
    • Linux の job は runner の image を ubuntu-26.04 に決める (kit だけは古い glibc でも動くよう ubuntu-24.04)。ubuntu-latest は 24.04 と 26.04 が混ざっていて、cache を保存した run と compiler の違う側の runner に当たると、deps を作り直し、ccache も外れる。apt の .deb の cache も image ごとに分かれる。26.04 は入れる package が 4 つ (21MB) で、24.04 の 85 個 (48MB) より軽い。
    • windows は .NET の SDK の install 先を tcs/global.json の hash を key にして cache する。linux は deps の cache が当たったときは SDL3 の build に要る dev package を入れない。
    • selfbench は base の測定の結果を、base の tcs の tree と runner の image を key にして cache する (run.py --base-results <file>)。
    • apt の package は .github/actions/apt-install で入れる。取ってきた .deb を、package の名前と runner の image の版を key にして cache し、当たれば mirror に行かずに dpkg で入れる。別の版の image で取った .deb は使わない (入っている物が違うと依存が合わない) (mirror が 30MB に 8 分かけた run があった)。package の trigger での initramfs の作り直しは止める。
    • kit の C の tcs と lub-gen は、入力の内容を key にして cache する (scripts/kit-tools-cache-key.sh)。C の tcs は tcs/ と作る script と C compiler の版、lub-gen はそれに tools/lub-gen/ と、比較で読む cs-lib/ と samples/13_sprites/ を足したもので決まる。当たれば、.NET の版との比較を通った物をそのまま使い、dotnet も入れない。
    • lider の player は、C の tcs があればそれで tcs を C にし (-DTCS_NATIVE。tcs c は .NET の tcs2c と同じ C を出す)、dotnet を使わない。
    • かな漢字変換 (jamo-core、Rust) は、build 済みの static library を jamo の commit と rustc の版を key にして cache し、当たれば cargo を動かさない (lider/scripts/build-player.sh の JAMO_CACHE、-DJAMO_PREBUILT)。Windows は crates.io の index の更新だけで 2 分 40 秒かかった run があった。Rust は runner の image の物を使い、toolchain を取りに行かない。
  • 並べる
    • scripts/cs-tests.sh の cs_run_tests <本数> <関数> <test...> が test を決まった本数ずつ並べて走らせ、test の順に PASS か FAIL を出す。windows の job は core の数だけ並べる。macOS の runner の仮想の GPU は並べると command buffer が GPU hang の error で止まるので、apple gate は 1 本ずつ走らせる。
    • scripts/native-gate.sh --part bindings|runtime|tools|lider で native gate を部分に分け、CI の linux は 7 つの job (bindings、runtime、tools、lider の 1/4 〜 4/4) の matrix にする。引数が無ければ前と同じく全部を順に走らせる (scripts/pre-push.sh)。lider/scripts/gate.sh は LIDER_SHARD=k/n で runtime テストを分ける。
    • scripts/vm-project-test.sh は vm project を core の数だけ並べ、native gate は build した Transpiler.dll を LUB_TCS で渡す (tcs の起動のたびに MSBuild の評価が走らない)。
    • tcs/run-tests.sh --part <名前> で tcs の test を 6 つ (Transpiler.Tests を 2 つ、tcs2c.Tests を 3 つ、script の検査) に分け、tcs-test をその matrix にする。dotnet test は名前空間の直下の class の名前の頭の文字で分け、最後の部分は前の部分に入らない class 全部なので、どの test もちょうど 1 つの部分に入る。
    • tcs2c.Tests の DifferentialTests を file ごとの class (<file の名前>DifferentialTests) にして、xUnit が並べて走らせるようにする。test の中身は変えない。
    • web の A9 は 1 つの context の中で CPU の数だけ page を同時に開き、A9_SHARD=k/n で分ける。web-verify は player の page の 4 つと入口の 1 つの job の matrix にする。
    • scripts/apple-gate.sh は APPLE_GATE_SHARD=k/n で mac の部分を分ける (runtime テストは 1 本ずつ配り、ほかの検査は組ごとに配る)。CI の macos は 3 つの job の matrix にする。
    • web-verify と web-export は needs で待たず、準備 (node、tests/cs の bytecode、chromium) を先に済ませ、要る artifact ができた所から続ける (scripts/ci-fetch-artifact.sh)。web-build は dist をできた所で上げ、tcs2c の web の player はその後に作る。
    • windows は build の後の検査を 2 つの job (個別の検査と export、runtime テストと golden と .NET 実行) に分ける。Windows の job は、準備の間に compiler を裏で一度動かしておく (起動したての runner は最初の compile に 20 秒ほどかかる)。
    • web-build と windows は、.NET の build (tcs、tests/cs の bytecode) を lub の build と並べて走らせる。
  • 止まるのを直す
    • linux の runtime テストは、sdlgpu と vulkan の 180 本を一度に全部起こしていて、runner ごと止まることがあった (7 回の run のうち 2 回。止まると log も残らず、job が 46 分後に失敗になる)。一度に動かす数を core の数の 4 倍までに限る。

docs (CLAUDE.md、README、docs/design.md、docs/api-glue.md、docs/release-kit.md、docs/metal-backend.md、docs/manual/08-csharp.md、web/README.md、tcs/CLAUDE.md など) を、今の検査に合わせる。

確かめたこと

  • 手元の Linux (lavapipe) で scripts/native-gate.sh --require-cs (tests/cs の golden を含む) と、4 つの部分ごとの --part が通る。
  • 手元の lavapipe で、一覧の全部が vulkan で通り、LUB_VK_DEBUG=1 で validation layer を有効にしても message が 1 つも出ない。sdlgpu と vulkan の 2 つで全部並べて、手元の 6 回とも通る。
  • .NET 実行で runtime テスト 80 本、TestFixedDt 2 回、TestSaveDir、TestReadbackCapture 2 回、TestBindingsDigest 3 回、TestBlendValue が通り、digest が tcs VM の player と一致する。cs_dotnet_excluded の 10 本は、.NET 実行では App.Use の error、App.Inputs の null、Gfx.Pick の空の Site でだけ落ちる。
  • web: npm run build の dist に対して npm run verify が 113 回の run (cs_all_tests から TestReadbackOnQuit を除いた 105 本と、複数の run と、無い entry) を全部通す。TestGpuPassTime を 18 回同時に走らせ、直す前は 3 回落ち、直した後は 18 回とも通る。無い entry の run は、src/vm_player.c を直す前は終了コード 0 を書いて通り、直した後は 1 を書く。
  • 手元の chromium で AudioContextAsyncStateTransitions を有効にし、miniaudio と同じ順 (suspend、resume、suspend、close) で呼ぶと unhandled rejection が出て、promise を受けると出ない。
  • CI の lider の job で ok ime と ok editor/ime が出て、web-verify の L10 が通る。
  • tcs: 手元の trx の結果 (1083 件と 643 件) に --part の filter を当て、どの test もちょうど 1 つの部分に入る。手元で dotnet test tcs2c.Tests が 643 件とも通る。
  • 手元で run.py --base origin/master --tasks vm --hosts native --runs 0 --base-results <file> を 2 回走らせ、2 回目が base を build せずに同じ結果を出す。
  • この PR の CI で 5 つの kit の job が通る。ios の job は、PR で走らせなくする前の run と、branch の workflow_dispatch の run で通っている。

CI の job の時間 (この PR の run。この PR で足した cache のうち、PR でも保存するものが当たった回):

job 時間
macos (3 つ) 2 分 14 秒 〜 3 分 35 秒 (別の回は 1 分 27 秒 〜 2 分 31 秒)
kit (5 つの target) 1 分 52 秒 〜 3 分 13 秒 (Windows の 2 つが 2 分 42 秒と 3 分 13 秒)
web-verify (player の 1/4 〜 4/4、入口) 2 分 25 秒 〜 3 分 10 秒 (web-build の dist を待つ時間を含む)
windows (2 つ) 2 分 55 秒 と 3 分 5 秒
linux (bindings、runtime、tools、lider の 1/4 〜 4/4) 1 分 54 秒 〜 2 分 40 秒
web-export 2 分 38 秒 (linux と web-build の artifact を待つ時間を含む)
tcs-test (6 つの部分) 1 分 3 秒 〜 2 分 23 秒
tcs-selfbench 2 分 2 秒
web-build 2 分 1 秒
format、lint、gate 31 秒以下

run の全体は 3 分 46 秒 (前は約 10 分)。
PR の run は master の push が保存した compile の cache しか読めないので、この branch で足した build (kit の lub の build、windows の ccache) は cache が当たらない時間である。branch で workflow_dispatch を 2 回走らせて compile の cache も当てると、windows の lub の build は 76 秒から 29 秒、Windows の kit の lub の build は 64〜90 秒から 15 秒、web-build は 1 分 50 秒になる。

2 分に届かないもの:

  • runner の速さが run ごとにぶれる。同じ lub の wasm の build が 35 秒の回と 83 秒の回があり、macos の同じ gate が 85 秒の回と 131 秒の回がある。
  • web: 検査は build が終わらないと始められない。build が dist を上げるまで約 1 分 40 秒、検査が約 1 分かかる。
  • windows と Windows の kit: 準備と configure と build で約 2 分かかる (configure だけで 20〜40 秒)。
  • kit: lub の build は、ccache が master に入るまで PR では毎回まっさらから行う (35〜80 秒)。
  • macos: runner の仮想の GPU が並べると止まるので、runtime テストを 1 本ずつ走らせる。3 つに分けても、準備 (ccache の復元、brew、dotnet) に約 1 分かかる。

意図して外したもの

  • サンプルの .NET での compile と、サンプルの絵の検査。サンプルは実行例であってテスト対象ではない。雛形 (templates/game) の .NET での build は残る。
  • web の golden。描画は native の golden が見る (web の golden は swiftshader と chromium の版に縛られる)。
  • TestUnboundStorage を native の backend で走らせること。sdlgpu は graphics の storage texture を読むことしかできず、vulkan backend は graphics の書ける storage texture を pipeline の layout に入れないので SPIR-V の binding が StructuredBuffer と重なる。直すには shader の binding の番号の振り方と vulkan backend の layout、device の feature、形式ごとの仮の texture が要る。
  • App.Use、App.Inputs、Gfx.Pick の Site を .NET 実行で使えるようにすること。stub が tcs VM の player だけで使える API と決めている。
  • Gfx.Size と入力を、player の page が決めた MainTex の大きさに揃えること。入口の page (lider) は Gfx.Size が CSS px であることを前提に補っているので、揃えると高 DPI の画面の lider の表示が変わる。player の page は大きさを付けずに開けば揃うので、verify の開き方で避けた。
  • macOS の runtime テストを並べること (runner の仮想の GPU が GPU hang で止まる)。
  • iOS の simulator での実行を PR で走らせること。iOS で落ちる変更は、merge の後の master の run で分かる。hosted の runner は simulator の起動だけで約 2 分、最初の app の起動に約 2 分 20 秒かかる。配る一式の 5 つの target に iOS は無い。
  • 一式の lub の compile の cache (ccache) は PR では保存しない。初めの PR は当たらない。
  • サブパスに置くための base 基準の path の作り (import.meta.env.BASE_URL) は、害が無いのでそのまま残す。

🤖 Generated with Claude Code

https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp

neguse and others added 30 commits November 20, 2026 16:00
サンプルの capture (tcs VM と .NET の digest) と golden (WARP、Metal、web、ngs) を外し、golden は描画を見る tests/cs の 5 本だけにする。
windows の job の個別の step のうち、後の loop と同じ 13 本を外し、debug layer の読み込みと GPU の時間の確認は loop の log で見る。
native gate の docs lint (lint の job と同じ)、web-verify の shard 3 (配らない /lub/ の build の検査)、tcs-compare-check、tcs-bench-2backend、tcs の SelfHost/build.sh (SelfHost/native.sh が全部含む) を外す。
tcs-selfbench は C の tcs の tcs vm の命令の数と heap の最大だけを測り、時間は測らない。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
player の page は argv と env を setFiles の postMessage だけで受け、検査用の build にだけあった URL の ?argv= と ?env= の口を外す。
web-build は npm run build を 1 回だけ走らせ、web-verify と web-export が確かめた dist を deploy がそのまま載せる。
changes job を外し、path で job を選ばない。tcs-selfbench は push でも 1 つ前の commit と比べる。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
各 job は submodule を 1 つずつ全部取らず、要るものだけを git submodule update --jobs で並べて取る。csharpstandard は tcs-test だけが取る。
linux、macos、web-build は lub の compile に ccache を使う。cache は master の push だけが保存し、PR は読むだけにする。
linux は deps の cache が key で当たったときは SDL3 の build に要る dev package を入れない。
selfbench の valgrind は recommends を入れない。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
xUnit は class ごとに並べ、1 つの class の中は 1 件ずつ走らせる。DifferentialTests は 109 個の file に分けた 1 つの class だったので、548 件を 1 件ずつ走らせていた。
各 file の class を <file の名前>DifferentialTests にし、file をまたいで使う helper (FloatLiteral、FloatFormatTexts、F) は internal にして class の名前を付けて呼ぶ。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
base の測定は base の tcs の tree と toolchain だけで決まるので、run.py の --base-results で結果を読み書きし、CI はその tree の hash と runner の image を key にして cache する。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
scripts/cs-tests.sh に、test を決まった本数ずつ並べて走らせ、test の順に PASS か FAIL を出す cs_run_tests を置く。
windows の job (d3d12、WARP、debug layer) と apple gate (metal) の直列の loop を、これに置き換える。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
… 先を cache する

ccache は版を固定して release から取り、hash を確かめる。MSVC の Release は debug の情報を持たないので、そのまま cache できる。
setup-dotnet は image に無い SDK を毎回取るので、DOTNET_INSTALL_DIR を決めて cache する。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
linux、macos、windows、web-build の 4 つの job が同じ script で ccache を入れる (apt と brew で入れると、版が image で変わり、apt の update や brew の依存の install に時間がかかる)。
macOS の brew は自分の更新と後片付けをしない。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
Linux の既定の backend は vulkan だが、runtime テストの多くは LUB_BACKEND が無いと sdlgpu で描き、native gate は一覧を LUB_BACKEND 無しで走らせ、vulkan では 14 本を個別に走らせていた。
native gate は一覧の全部を sdlgpu と vulkan の両方で並列に走らせ、一覧と同じ引数の個別の vulkan の起動を外す。
TestUnboundAfterBound は vulkan と sdlgpu でも通るので一覧に入れ、apple gate の個別の起動を外す。
TestUnboundStorage を native の backend で走らせない理由を書く。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
run-tests.sh の --part は一部だけを走らせる。dotnet test は class の名前の頭の文字で分け (Transpiler.Tests は 2 つ、tcs2c.Tests は 3 つ)、最後の部分は前の部分に入らない class 全部にする。Analyzers.Tests は Transpiler.Tests の 2 つ目と並べ、dotnet test 以外の検査は scripts にまとめる。
CI の tcs-test は 6 つの部分の matrix にする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
CI の runner の仮想の GPU (Apple Paravirtual device) は、3 本を並べると command buffer が GPU hang の error で止まった (TestAppState の readback)。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
query の visitor が例外を出したら、その query の間は visitor を呼ばず、query は null を返して message を log に出す (tcs VM と同じ)。
これまでは log して続け、visitor が通した hit の一覧を返していた。
見つからない (LUB_NOT_FOUND) 結果は null (struct の record は 0 の値) にし、int / float / bool の戻り値と out は C API が書いた値にする (tcs VM と tcs2c と同じ)。
これまでは戻り値が null を許さない record と List で例外を投げていた。
handle の Version は ref を返した時の実効 version にする (tcs VM と tcs2c と同じ)。
これまでは読むたびに今の version を引き、後の宣言で変わっていた。
bit mask の hex は 1 文字ずつ読む。
ulong.TryParse は末尾の NUL を読み飛ばし、"1\0" を通していた。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
dotnet/SampleRunner の -p:Tests=true が tests/cs 全体を 1 つの実行ファイル (bin/tests/lub-sample-tests) にし、test は tcs VM の player と同じく --entry で選ぶ (App.Run(assembly, args) が --entry を読む)。
test ごとの -p:Test=<Entry> は外す。
native gate は runtime テストを .NET 実行でも並べて走らせ、TestFixedDt、TestSaveDir、TestReadbackCapture を tcs VM の player と同じ引数で走らせ、TestBindingsDigest と TestBlendValue の digest を tcs VM の player と比べる。
.NET 実行で走らせないものと理由は scripts/cs-tests.sh の cs_dotnet_excluded に書く。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
…n-all-tests

# Conflicts:
#	scripts/apple-gate.sh
native-gate.sh の --part は、bindings (tcs と VM の binding、lub-gen)、runtime (C の smoke、tests/cs、.NET の実行、export、golden)、tools (生成物、tests/cs とサンプルの check、雛形、開発の道具)、lider のどれかだけを走らせる。引数が無ければ前と同じく全部を走らせる。
lider の gate は LIDER_SHARD=k/n で runtime テストを n 個に分けた k 番目だけを走らせる。CI の linux は 5 つの job (lider は 2 つ) の matrix にする。
vm project の test は互いに独立なので cs_run_tests で並べ、tcs は dotnet 相が build した Transpiler.dll を直接動かす。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
…net-all-tests

# Conflicts:
#	scripts/cs-tests.sh
#	scripts/native-gate.sh
…ux-split

# Conflicts:
#	scripts/native-gate.sh
辞書 (mozc.dict) は build-dict.sh (取る mozc の commit) と jamo の commit から決まるので、それを key にして cache し、無いときだけ作る。
辞書が無いと tests/ime は飛ばし、tests/editor/ime は変換を確かめずに通るので、辞書が有ることも確かめる。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
L10: 空白を詰めて書いた .cs を保存すると、page が .NET の wasm (tcs の WasmCompiler の CSharpier) で整形して書き戻す。整形の worker が動かないと page は警告を出して整形をやめるので、その警告が出ないことも見る。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
release.yml の kit (5 つの target) と ios の job を ci.yml に移し、PR と master の push でも毎回走らせる。
一式の OS によらない物 (web の player、Lider.tcsb、辞書) は web-build が作り、kit の job は build の後でその artifact ができるのを待って固める。
kit と ios の job は deps、ccache、prebuilt を cache する。kit の job は tcs2c で C にした tcs を作るときに .NET の tcs と出力を比べるので、tcs-native の job は外す。
tag (v*) の push では、gate を通った一式を publish job が GitHub の release に載せる。release.yml は外す。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
web の player の終わりは native と違う経路を通り、App.Quit を経ない失敗 (entry が無い、backend を作れないなど) でも env LUB_EXIT_FILE の file に 0 を書いていた。
native と同じく、Quit を経ずに失敗したら終了コードを 1 にしてから終える。
LUB_EXIT_FILE の説明に web を足す。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
測れる backend でも、時刻が届く前に回ってきた frame の pass は時間 -1 で届く (Sys.TakeGpuPasses の説明のとおり)。
数え始めてから 6 frame 後の 1 回だけを見て、全部が測れたか全部が測れなかったかを求めていたので、GPU が遅れると -1 の pass が混ざって落ちていた。
測れた pass が届くまで 60 frame まで待ち、測れた pass があれば timed、無ければ untimed と出す。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
global session を作るのは page の起動ごとに main thread で時間がかかり、shader を compile しないゲームは使わない。
slang-wasm の読み込みは今までどおり起動の前に済ませ、session だけを最初の compile で作る。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
@neguse
neguse changed the base branch from ci/kit-every-pr to master November 20, 2026 15:40
@neguse neguse changed the title web の verify で tests/cs の test を全部走らせる CI は配るものを毎回全部確かめ、確かめたものを配る Nov 20, 2026
neguse and others added 14 commits November 21, 2026 01:11
… unhandled rejection にしない

miniaudio の Web Audio は suspend() と resume() の promise を受けずに、終わるときに suspend() の直後に close() を呼ぶ。
仕様のとおり状態の移りを非同期に済ませるブラウザでは、close() が済んでいない promise を拒否し ("AudioContext is closed.")、page に unhandled rejection が出る。
すぐ終わる game (verify の TestAudioVoiceKey) で出た。
verify のブラウザは、この振る舞い (AudioContextAsyncStateTransitions) を常に有効にする。
verify-player は、page の error で待つのをやめても、終了コードが書かれていればそれで判定する。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
C の tcs と lub-gen は、入力 (tcs/、tools/lub-gen/ など) が同じなら、.NET の版との比較を通った物をそのまま使う。
lider の player は、C の tcs があればそれで tcs を C にし、dotnet を使わない。
apt は取ってきた .deb を cache に置き、同じ image で同じ package なら mirror に行かない。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
apt に .deb を渡すと同じ版を mirror から取り直すので、dpkg で入れる。.deb の cache は image の版が違う runner の物も使う。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
needs で待つ代わりに scripts/ci-wait-artifact.sh で待つ。web-build は dist をできた所で渡す。player の page の検査は 4 つに分ける。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
一覧に出た直後の artifact は、まだ取れないことがある。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
neguse and others added 9 commits November 21, 2026 05:44
apt の .deb は、別の版の image で取った物を使わない (入っている物が違うと依存が合わず、cache の有無で結果が変わっていた)。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
master で落ちたら、その commit の run が失敗になって分かる。tag では publish が ios を待つ。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
run 全体を直列にすると、ios が終わるまで次の commit の deploy が始まらない。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
master の push では ios.yml が単独で走り、tag の push では ci.yml が呼んで publish が待つ。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
ubuntu-latest は 24.04 と 26.04 が混ざっていて、compiler の違う側の runner では ccache が全部外れる。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
apt で入れる package が 24.04 の 85 個に対して 4 つで済み、master が保存してきた cache とも compiler が合う。kit は ubuntu-24.04 のまま。

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Bkc8zSQj6Yt9ejnDEyqyjp
@neguse
neguse marked this pull request as ready for review November 21, 2026 06:46
@neguse
neguse merged commit 47e1d47 into master Nov 21, 2026
37 checks passed
@neguse
neguse deleted the ci/web-all-tests branch November 21, 2026 06:46
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant