UDトークまたはマイク認識の字幕を、AIと手動で訂正して観客へ配信するローカル PoC です。会場での字幕編集を試すための検証用アプリで、UDトークの公式製品・公式連携ではありません。
「独立配信」と「UDトークへ反映」の2つの接続方法を選べます。操作画面と観客画面は React・TypeScript・XState、バックエンドは FastAPI・Pydantic v2 を使用します。
独立配信では、UDトークのZoom連携から字幕を受信し、このアプリの観客画面へ配信します。UDトークへ反映する試験接続では、編集を許可した参加リンクを使って訂正を返し、純正の字幕表示・配信を使います。設定と検証範囲は入力接続を参照してください。
UDトークがない場合は、独立配信の入力元を「マイク」にし、OpenAIまたは接続先MacのApple認識を選べます。準備と開始・停止はマイク入力を参照してください。両方とも合成音声で実認識を確認しています。物理マイクと会場での認識は未確認です。
AIは初期値オフです。サーバーにGemini・Claude・OpenAIのAPIキーを設定すると、次の確定字幕から校正を実行します。APIキー未設定時と失敗時は原文を保持します。認証と字幕の永続化はなく、ローカルの単一プロセスで使用します。字幕は再起動で消えます。ルームの接続履歴・設定と単語辞書は保存先に残ります。
画面を見ながら操作する手順は利用者向けマニュアルを参照してください。
Node.js、Python 3.12、npm、uv が必要です。推奨バージョンと環境変数は開発手順を参照してください。プロジェクトのルートから実行します。
bash scripts/setup.sh
bash scripts/dev.sh| 画面 | URL |
|---|---|
| ホーム | http://127.0.0.1:24681/ |
| 観客画面 | 接続後の操作画面のモニターアイコンから開きます |
setup.sh は依存関係を導入し、画面をビルドします。終了時はサーバーを Ctrl+C で止めます。フロントエンドの変更を即時確認する手順は開発手順、Codex Cloud と SSH 接続はリモート開発に記載しています。
ホームからルームへ接続します。初回は「独立配信」を選ぶか、「新しいルームに接続」で名前と接続先を登録します。ホームへの帰還と字幕リセットはルーム画面の上部にあります。詳しくはルームの接続と字幕リセットを参照してください。
- 接続アイコンから「字幕入力の接続設定」を開き、「独立配信」の送信先をUDトークのZoom連携に設定します。実機を使わない画面確認は「準備」の「テスト字幕を送る」で行えます。
- 表示文をクリックして訂正欄を開き、修正して「保存して公開」を押します。未保存の下書きは観客へ出ません。Ctrl / Command + Enterでも保存できます。
- 「新着の公開」で自動公開・確認して公開を選びます。「字幕を隠す」は表示を止め、「字幕を表示」は新しい発話から再開します。
- 「表示設定」を反映し、観客画面を別ディスプレイへ移して全画面表示します。純正へ返す場合は接続設定を「UDトークへ反映（試験接続）」に変更し、有効な編集用の参加リンクを適用します。訂正の表示はUDトーク側で確認します。
- AIを使う場合は開発手順に従ってキーを設定し、再起動します。ロボットアイコンの「AI設定」の「モデル」で使うAIを選び、保存します。比較条件と料金はAIの選択と振り分けを参照してください。
未保存の下書きは観客へ送られません。人が保存した文は後着の入力で上書きしません。編集競合、非表示期間、入力 API の詳細は現行 PoC の仕様を参照してください。
2026-10-07の実機試験では独立配信の受信・手動訂正・公開を確認しました。2026-10-10には実APIと背景ブラウザで、訂正の公開、後着入力からの保護、話者表示、設定保存を確認しています。
編集参加からUDトークの純正画面への手動訂正とGPT-5.4 Miniの自動訂正は、合成音声を使った実接続で確認しました。UDトーク経由の英訳更新と60分・120回の連続運転も、合成音声で確認しました。翻訳・連続運転の記録を参照してください。各AIの品質比較、会場条件、60分を超える運転は未確認です。実接続の範囲は入力接続とAIの選択と振り分けを参照してください。公開前の点検範囲と履歴の確認事項は公開前の点検に記載しています。
bash scripts/check.shAGENTS.mdが変更ルール、システム構成が実装の入口です。作業ごとの参照先はドキュメント一覧から選べます。
MITライセンスで提供します。著作権表示は Copyright (c) 2026 shiftone-ai です。