Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -58,3 +58,4 @@ sources: ["claude-workflow-starter-private@296ea45", vllm_omni/config/]
- [部署 platform overlay 的最终配置合同](rules-platform-overlays.md)。
- [配置规则 — CUDA graph 显存预留与 KV 预算](rules-cudagraph-kv-reserve.md)
- [XPU eager pins 与 Intel 支持验证](rules-xpu-eager-pins.md)
- [性能基准扩档与基线推导规则](rules-perf-baseline-derivation.md)
Original file line number Diff line number Diff line change
@@ -0,0 +1,19 @@
---
title: "性能基准扩档与基线推导规则"
created: 2026-10-14
updated: 2026-10-14
type: rule
tags: [vllm-omni, components, config]
sources: ["PR #8720"]
---

# 性能基准扩档与基线推导规则

## VLLM-OMNI-PR8720-PERF-BASELINES — 扩并发性能基线必须保留既有参考并按正确余量方向推导

- 触发:修改 `tests/dfx/perf/tests/` 下的性能基准 JSON(如 `test_minicpmo_4_5.json`、`test_minicpmo_4_5_duplex_seed_tts.json`):新增并发档位(C16/C32)或 prompt 规模、为某硬件派生 baseline 数值、启用 `seed_tts_wer_eval` 或调整 duplex sweep。
- 强制:扩档不得触碰既有参考——未重算的 H100/A3 chat C1/C4/C8 与 A2 原档位必须原样保留,即使单次历史跑值与参考不一致也不得借机放宽,回归另行调查。新档位参考只能取真实历史硬件测量,并在 JSON `description` 中引用 Buildkite build 与 commit SHA,注明这是历史参考测量、非当前 head 验证;余量方向固定:吞吐 × 0.90、延迟与 audio RTF × 1.10,四舍五入到 4 位小数。未测量硬件(本例 B200)必须删除占位 baseline 桶但保留 workload 执行;runner 的 `assert_result` 独立强制全部请求完成与每 duplex session 四个音频 turn、不数值断言性能基线——基线缺失或宽松不得削弱完成性检查。WER 在固定数据集与 ASR 下重复测量出校准阈值之前只是采集,不构成质量门槛。
- 禁止:扩档时顺手重算或放宽既有基线;把吞吐余量方向写反(× 1.10,本次已修正);保留无测量依据的占位 baseline;以历史 build 绿灯冒充当前 head 的 serving 验证;宣称启用 WER 评估即建立质量阈值,或用基线数值校验代替请求完成性断言。
- 验收:逐硬件断言既有档位数值与父配置逐位一致;新增档位每个数值可由 cited build 测量按 ×0.90/×1.10 与 4 位舍入复算;未测量硬件无 baseline 字段但仍在 sweep 中执行;duplex 的请求数与每 session 四个音频 turn 由 `assert_result` 独立断言,不依赖 baseline。^[PR #8720]

<!-- kb:rule status=active since=v0.30.0 -->
Loading