[Roadmap] AISBench 2026 Q4 Roadmap #608

当前状态分析 | Current Status Analysis

项目定位

AISBench 面向大模型、多模态模型及 Agent 应用提供统一的精度与性能评测能力。随着模型能力向 Agent 化、复杂软件工程任务及音视频联合生成方向演进，AISBench 需要进一步完善主流 Benchmark 覆盖范围，并提升复杂评测场景下的执行效率与工程易用性。

2026 年 Q4，AISBench 将围绕 主流 Agent 数据集测评、音视频同出模型精度测评、多组合条件下批量性能测试 三个方向持续建设，推动评测能力从基础模型评测向复杂 Agent 任务评测和多模态生成质量评估拓展，同时降低批量测试的操作成本。

已有能力

• 统一评测框架： 基于现有 Benchmark Pipeline，支持数据集、模型及 Evaluator 配置，提供精度与性能评测基础能力。
• Agent 评测基础： 基于 Q3 规划的 Harbor 统一适配范式，逐步完善任务执行、运行环境管理、结果解析及评测产物归档能力。
• 多模态评测基础： 已具备多模态数据集适配与评测能力，可在现有框架上扩展音视频联合生成评测。
• 性能测试基础： 已支持推理服务性能测试，但多轮并发场景下的多组合配置、批量执行与结果汇总仍有优化空间。

缺口与诉求

1. 主流 Agent 数据集覆盖不足

现有 Agent 评测能力仍需扩展至更多复杂任务场景，尤其是终端操作、跨应用业务流程和长周期软件工程任务。

需要支持：

• Terminal Bench 4.0 数据集测评；
• AutomationBench 数据集测评；
• NL2Repo 数据集测评；
• 统一任务执行、环境适配、结果校验及评测产物输出规范。

通过扩展主流 Agent Benchmark，提升 AISBench 对不同 Agent 能力维度的覆盖，形成可复用的数据集接入范式。

2. 音视频同出模型精度测评能力不足

随着生成模型逐步支持音视频联合输出，单独评估视频质量或音频质量已难以完整衡量模型的生成能力，需要建立面向音视频联合生成的综合评测体系。

需要支持：

• VABench 音视频生成评测能力；
• 音频、视频及音画联合一致性等多维度指标计算；
• 音视频生成结果及评测产物的统一管理；
• VABench Mini Benchmark 快速评测集，降低日常验证与版本回归的测试成本。

3. 多组合条件下批量性能测试效率不足

当前多轮并发性能测试涉及多组参数配置及重复操作，测试人员需要反复修改配置并逐个启动任务，难以高效开展多场景组合测试，也不利于夜间无人值守运行。

需要支持：

• 多轮并发测试场景一键式运行；
• 多组测试参数的批量配置与任务编排；
• 批量执行、异常任务隔离及结果汇总；
• 多组合测试结果的统一展示与对比分析。

Focus | 重点建设方向

1. 主流 Agent 数据集测评能力建设

基于统一的 Agent 测评执行与结果管理规范，扩展主流数据集支持能力，优先复用现有 Harbor 执行链路，并针对不同数据集的运行环境、工具接口和评分机制补充适配能力。

1.1 Terminal Bench 4.0

面向 Agent 在真实终端环境中的复杂任务执行能力评测。

支持：

• Terminal Bench 4.0 数据集及固定版本管理；
• 任务运行环境初始化与隔离；
• Agent 任务执行、Verifier 校验及评分结果解析；
• 任务级执行状态、失败原因及评测结果归档。

1.2 AutomationBench

面向 Agent 跨应用业务流程自动化能力评测。

支持：

• AutomationBench 数据集接入及任务执行；
• 业务模拟环境、工具接口及任务初始状态适配；
• 基于任务最终状态的自动校验与评分；
• 任务完成情况、部分得分及异常结果归档。

重点覆盖多工具协作、复杂业务规则执行及跨应用工作流场景。

1.3 NL2Repo

面向 Agent 从自然语言需求出发构建完整、可运行代码仓库的能力评测。

支持：

• NL2Repo 数据集接入及任务执行；
• 任务专属环境初始化与代码生成工作区管理；
• 项目构建、依赖处理及测试用例执行；
• 基于测试结果的评分、任务状态记录及结果归档。

重点验证 Agent 在长周期、多步骤软件工程任务中的持续执行与交付能力。

统一适配目标

形成可复用的 Agent Benchmark 接入规范，统一数据集配置、任务生命周期管理、环境执行、评分结果解析及评测产物输出，降低后续新增 Agent 数据集的适配成本。

2. 音视频同出模型精度测评能力建设

2.1 VABench 音视频生成评测

建设面向音视频联合生成模型的标准化精度评测能力。

支持：

• VABench 数据集适配及评测任务执行；
• 音视频生成结果的采集、关联与统一管理；
• 音频质量、视频质量、文本与生成内容一致性、音视频同步等评价维度；
• 评测指标计算、结果汇总及任务级明细输出。

覆盖 VABench 支持的主要音视频生成任务类型，形成可复用的音视频联合生成评测流程。

2.2 VABench Mini Benchmark 快速评测集

构建用于模型适配验证、日常开发回归及版本发布决策的轻量级评测集。

支持：

• 从 VABench 中筛选具有代表性的评测样本；
• 建设规模为 10–99 条 Prompt 的 Mini Benchmark；
• 覆盖主要生成场景及关键评价维度；
• 支持 Mini Benchmark 独立运行与结果归档；
• 对比 Mini 与完整 Benchmark 的执行耗时、评分偏差及模型排序一致性。

通过代表性样本筛选与评测结果验证，在保证关键质量信号的前提下缩短评测周期，形成快速评测与完整评测协同的分层验证机制。

3. 多组合条件下批量性能测试能力建设

多轮并发测试场景一键式运行

面向需要验证多组并发参数及多轮测试场景的性能测试任务，建设批量配置、任务编排和结果汇总能力。

支持：

• 多轮并发测试场景的参数化配置；
• 多组测试参数组合的统一定义与批量生成；
• 测试任务一键启动及执行进度跟踪；
• 批量任务独立执行、失败隔离及必要的失败重试；
• 各组合场景的性能指标采集与结果归档；
• 批量测试结果汇总、横向对比及报告输出。

重点提升多组合场景的测试效率与可重复性，减少手工修改参数、逐项启动任务及人工整理结果的成本，支持夜间无人值守批量测试。

路线图愿景 | Roadmap Vision

2026 Q4，AISBench 将围绕以下三个方向推进：

1. Agent 评测生态扩展： 支持 Terminal Bench 4.0、AutomationBench、NL2Repo 三类主流 Agent 数据集，完善统一执行、评分和结果归档能力。
2. 音视频联合生成评测： 建设 VABench 完整评测能力，并构建 VABench Mini Benchmark，形成完整评测与快速回归相结合的评测体系。
3. 性能测试工程效率提升： 支持多轮并发测试场景一键式运行，实现多组合参数批量执行、结果汇总与对比分析。

整体目标是持续扩展 AISBench 的评测覆盖范围，提升复杂任务评测的标准化程度，并降低模型研发、验证和版本发布过程中的评测成本。

阶段性目标 | Phased Goals

2026.10.31 阶段目标：完成关键能力建设

目标一：完成 Terminal Bench 4.0 数据集适配

完成 Terminal Bench 4.0 数据集接入及适配；

打通任务执行环境初始化、Agent 任务执行、Verifier 校验及评分结果解析流程；

完成端到端评测验证，支持评测结果及任务执行状态归档。

目标二：完成多组合条件下批量性能测试能力建设

完成多轮并发测试场景参数化配置及多组参数组合管理；

支持多轮并发测试场景一键式运行，实现批量任务编排与执行；

支持批量任务状态跟踪、测试结果汇总及多组合性能指标对比；

完成典型场景验证，满足多组合测试及夜间无人值守运行需求。

2026.11.30 阶段目标：完成 Q4 全部规划需求

目标一：完成主流 Agent 数据集测评能力建设

完成 Terminal Bench 4.0、AutomationBench、NL2Repo 三类数据集适配及回归验证；

完善任务执行、环境管理、Verifier 校验、评分计算及结果归档能力；

形成统一的 Agent Benchmark 接入规范及使用文档。

目标二：完成音视频同出模型精度测评能力建设

完成 VABench 音视频生成评测能力建设，支持主要评测场景、指标计算及结果输出；

完成 VABench Mini Benchmark 构建，支持轻量级快速评测与独立运行；

完成 Mini 与完整 Benchmark 的评测耗时、评分偏差及模型排序一致性验证；

完善评测结果管理、使用文档及回归验证。

关键任务 | Key Tasks

任务一：主流 Agent 数据集测评

• Terminal Bench 4.0 适配；
• AutomationBench 适配；
• NL2Repo 适配；
• Agent 数据集统一执行、评分及结果归档规范完善。

任务二：音视频同出模型精度测评

• VABench 数据集接入与多维度指标计算；
• 音视频生成结果及评测产物管理；
• VABench Mini Benchmark 构建；
• Mini 与完整集评测结果一致性及耗时对比验证。

任务三：多组合条件下批量性能测试

• 多轮并发测试参数化配置；
• 多组合测试任务批量编排与一键执行；
• 批量任务状态跟踪、异常隔离及结果汇总；
• 多组合性能结果对比分析与报告输出。

补充说明 | Additional Notes

👉 如果您想要的特性不在路线图中，欢迎在此主题中发表评论或者提交功能需求issue
| If any of the features you want are not in the roadmap, please feel free to comment or submit a feature request issue