Skip to content

Generate P4 lexical modules from UBNF in Java/Rust and update playground #246

Closed
#247
Closed
Generate P4 lexical modules from UBNF in Java/Rust and update playground#246
#247

Description

@opaopa6969
opaopa6969
opened on Oct 3, 2026

目的

P4 の NUMBER / IDENTIFIER / STRING / fenced code / EOF を、旧 Parser の FQN mapping でなく機械可読 UBNF から Java/Rust の両方へ生成する。数値・識別子・文字列・fence を外部 grammar と import alias で部品化し、playground に適用する。

受け入れ条件

  • self-hosted CI 移行 ci: 全 workflow を self-hosted runner に統一 #245 が merge 済みであることを確認してから実装する。
  • P4 token に旧 NumberParser / IdentifierParser / StringLiteralParser / fence parser の実装 mapping がない。数値・識別子・文字列・fence の具体的な受理範囲が module の UBNF だけから読み取れる。
  • Java / Rust の compiler revision、全 input grammar、生成物、IR hash を pin し、変更した module も drift 検査対象とする。実際に compiler で再生成して byte 一致を検証する。
  • Java / Rust の同じ入力で、数値、quote/escape、CRLF、Unicode、可変長 fence、失敗・rollback、AST・ソース位置・評価の互換性を確認する。AST の quote 正規化は認識とは別の変換として明示する。
  • playground の grammar 表示/サンプルと実行 WASM を更新し、WASM parity smoke と build を実行する。既存 parser 実装は互換 engine / oracle としてのみ残す。
  • full Java/Rust テスト、生成検査、CI を確認し、PR merge と issue close まで実施する。

判断

相互再帰する expression 規則は P4 本体に残し、まず独立した lexical grammar を分離する。alias を namespace とし、独立 namespace 宣言や implicit import は追加しない。不可逆な公開・課金・release は行わない。変更は merge commit の revert で戻せる形にする。

Activity

  1. opaopa6969 commented on Oct 3, 2026

    @opaopa6969
    opaopa6969
    on Oct 3, 2026
    OwnerAuthor

    目的

    Closes #246

    P4 の token を既存 Parser 名の mapping から機械可読 UBNF に移し、同じ文法から Java / Rust / WASM を生成する。先行の #245 で全 GHA を self-hosted に変更済み。

    内容・選んだ境界

    • UBNF v2 の NUMBER / IDENTIFIER / STRING / code fence / EOF を宣言的 token に変更。characters / numbers / identifiers / strings / fences を外部 grammar に分割し、import alias を namespace にする。
    • 相互再帰する expression 規則は本体に残す。module の参照と capture は宣言元で閉じる。namespace 宣言や implicit import は増やさない。
    • 全 30 token の IR が declarative であることを確認。Java の既定 scanner registry は空、Rust は RejectExtern。旧 scanner は互換テストの oracle として残すだけで新しい P4 認識には使わない。
    • 認識した STRING は raw quote/escape を保持し、既存の single quote 除去は生成 AST converter の値変換で維持。source span は元入力のまま。keyword boundary 変更は混ぜず @literalBoundary: none で旧挙動を維持する。
    • Java / Rust の compiler pin を merged ubnfc ci: 通常検証を self-hosted runner に移行 #104 の実装 commit f54d6b90466ffde14066d32f911ed642b1e49201 に更新し、実際に再生成。全 input module hash を記録し、module のみの変更も offline drift 検査で検出する。Rust も immutable git archive で再生成する。
    • core の source pin は merged unlaxer-parser #343 の 08f2bc1c918a34b84c333a8178c990383fdffb8d。宣言的 module を読めない 3.1.0 への CI fallback は廃止。未公開の 3.1.1 は明示的に pinned source build とし、matrix の名称も declared/source にする。
    • 共通 19 ケースで受理・拒否・consumed/matched・Unicode・CRLF・fence 幅・raw text・公開 AST 値・span を検証。
    • 内部 farthestExpected の旧 DigitParser/SignParser 名が消えるため、実行結果から共通 response 記録を更新。公開 expected / primary offset / 評価値は変わらない。
    • playground の WASM / grammar リンク / ヘルプを更新。仕様・pin・再生成手順を docs/declarative-lexical-modules.md に整理。

    検証

    • mvn -q clean test -Dtinyexpression.skipRailroad=true -Dtinyexpression.rust.shared=true: 151 suites / 1008 tests / failures 0 / errors 0 / existing skips 13。
    • cargo test --workspace: PASS。共通 19 ケース、既存 differential / engine / scanner oracle を含む。
    • cargo fmt --all --check / cargo clippy --workspace --all-targets -- -D warnings: PASS。
    • Java と Rust の pin commit からの full regeneration: IR / generated source byte-identical。converter / compat の --check: PASS。
    • node catalog/scripts/generate-derived.mjs --check: PASS。
    • playground npm ci, build:wasm, check, parity, roundtrip, build: PASS。
    • VSIX npm ci, npm test: PASS（7 tests）。
    • actionlint, shell syntax, git diff --check: PASS。
    • ubnfc ci: 通常検証を self-hosted runner に移行 #104 の self-hosted CI: native workspace / WASM とも成功。TinyExpression の本 PR の CI は push 後に確認する。

    補償

    lexical grammar への移行を一つの PR にまとめた。必要なら本 PR の merge commit を revert する。既存互換 engine と legacy oracle は削除していない。Maven Central / crate / VSIX の release は実行しない。

  2. opaopa6969 commented on Oct 3, 2026

    @opaopa6969
    opaopa6969
    on Oct 3, 2026
    OwnerAuthor

    進捗: core #339/#341/#343 と ubnfc #104 は merge 済み。PR #247 のローカル Java 1008 tests（失敗0、既存skip13）・Rust workspace・共通 lexical 19ケース・全再生成一致・playground WASM/parity/roundtrip/build・VSIX unit test が成功。self-hosted CI 37113952879 を監視中。source mapper は成功、Rust は全体テスト/lintを終え C ABI/WASM を確認中。Slack tool がこのセッションにないため、経過はこの issue と会話へ記録しています。

  3. opaopa6969 commented on Oct 3, 2026

    @opaopa6969
    opaopa6969
    on Oct 3, 2026
    OwnerAuthor

    fresh CI で公開済み unlaxer 3.1.1 が今回の UBNF v2 module を解釈できないことを検出したため、unlaxer-parser #345/#346 で開発版を 3.2.0-SNAPSHOT に分離しました。TinyExpression の pom と source pin を f825740396a6181654191de5ba040e1f83533526 に更新済みです。新依存で対象 33 tests が成功（fail/error/skip 0）、CI 37115175867 を再実行中。公開済み artifact の上書きや release は行っていません。

  4. opaopa6969 commented on Oct 3, 2026

    @opaopa6969
    opaopa6969
    on Oct 3, 2026
    OwnerAuthor

    LSP/DAP module に残っていた unlaxer-dsl 3.1.0 の直接依存を、本体と同じ 3.2.0-SNAPSHOT property に更新しました。module の全 Java テスト 58 件（fail/error/skip 0）と、新 server jar・playground を含む VSIX の Maven verify/packaging がローカルで成功。追跡対象 server-dist jar も再生成済みです。最新 commit be11320 の CI を確認し、成功後に merge と Pages 反映まで進めます。

  5. opaopa6969
    closed this as completedin #247on Oct 3, 2026

  6. opaopa6969 commented on Oct 3, 2026

    @opaopa6969
    opaopa6969
    on Oct 3, 2026
    OwnerAuthor

    完了: PR #247 を 604c411 として merge 済み。最終 PR CI 37116803406 は全8 jobs成功、Pages 37118489337 は build/deploy成功。https://opaopa6969.github.io/tinyexpression/ の配信HTMLとWASMを通常URLから取得し、v2/moduleリンク、ubnfc revision f54d6b90466ffde14066d32f911ed642b1e49201、数値評価、Unicode文字列、同幅fenceの受理・幅違いの拒否を確認しました。元の作業ツリーの未コミット変更は保護したままです。Maven開発版は3.2.0-SNAPSHOTで、releaseは行っていません。Slackは未導入のため通知せず、経過はこのissueへ記録しました。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions