[Roadmap] AISBench 2026 Q1 Roadmap

[GaoHuaZhang]

[Roadmap] AISBench Roadmap 2026 Q1

AISBench Roadmap 2026 Q1

路线图愿景 | Roadmap Vision

2026 Q1 将围绕多模态与生成测评、性能与流控可复现性、模型后端扩展、评测能力增强（裁判模型）、图像编辑测评、配置体验六个方向推进。

整体目标是建成 VBench 多模态生成（T2V/I2V）评测体系；实现与 AIPerf 对齐的基于时间戳的固定流控与调度，支撑可复现性能测评；新增 MindSpore 本地推理后端；支持用户配置自定义裁判模型对推理结果打分；接入 GEdit-Bench 完成图像编辑模型精度测评；为 --datasets / --models 提供模糊匹配能力，并通过统一文档与示例支撑社区协作与复用。

当前状态分析 | Current Status Analysis

项目定位：AISBench 当前作为 AI 推理与多模态评测基准，覆盖文本与多模态场景下的精度评测与性能测评。

已有能力：

• 模型后端：已支持 HuggingFace、vLLM 等本地推理（ais_bench/benchmark/models/local_models/），以本地加载、进程内推理形态对接 GenInferencer / BaseLocalInferencer。
• 评测体系：基于 openicl 的评测 pipeline，支持数据集与 evaluator 配置，可对推理结果进行多维度评测。
• 性能测评：支持 trace 数据集与 --mode perf 下的性能测试；配置通过 --datasets、--models 指定，当前为精确匹配。
• 配置与搜索：提供 --search 等能力用于查看配置路径；配置加载需写全名或先查路径。

缺口与诉求：

• 多模态生成（T2V/I2V）评测能力缺失，需接入 VBench 等标准评测体系。
• 基于 timestamp 的请求流控与固定流控尚未实现，与 AIPerf 的 Fixed Schedule 语义未对齐，无法在可复现、可控负载下做性能对比。
• MindSpore 作为本地推理后端尚未支持；自定义裁判模型（API/URL）对推理结果打分的评测能力待建设。
• 图像编辑类精度测评（如 GEdit-Bench）未接入；配置需支持模糊匹配以提升使用体验。

Focus

• Multimodal & Generation Evaluation：接入 VBench，建设 T2V/I2V 多模态生成评测体系。
• Performance & Flow Control：对齐 AIPerf，支持基于 timestamp 的请求流控与固定调度，实现可复现性能测评。
• Model Backends Expansion：新增 MindSpore 本地推理后端，丰富本地模型推理能力。
• Evaluation & Judge Models：支持自定义裁判模型与图像编辑评测，增强评测维度与主观/客观打分能力。
• Usability & Configuration：通过配置模糊匹配与统一文档示例，提升 AISBench 的易用性和上手体验。

阶段性目标 | Phased Goals

时间约束：全部特性需在 3 月 31 日前 完成。

时间节点	阶段性目标
2/14 前	配置模糊匹配（任务 6）交付；多模态（任务 1）、性能流控（任务 2）设计/标准确认
2/28 前	性能与流控（任务 2）、MindSpore（任务 3）、裁判模型（任务 4）阶段交付
3/15 前	多模态（任务 1）、性能流控（任务 2）、图像编辑（任务 5）主体完成
3/31 前	全部特性验收、文档与示例就绪

上述时间节点与后续各模块中的工作项进度相对应：2/14 侧重方案设计与模糊匹配落地，2/28 重点在性能流控/MindSpore/裁判模型的基础能力交付，3/15 完成多模态与图像编辑主体功能，3/31 完成整体验收与文档沉淀。

Multimodal & Generation (VBench) （任务 1）

• VBench 多模态生成评测体系接入
  Goal: 建设新的评测体系，接入 VBench，支持多模态生成类（T2V、I2V）的多维度评测。
  Owner: @GaoHuaZhang
  Issue: 待补充
  PR: 待补充

  • 对接 VBench 的 prompt suite 与评测维度（如 subject_consistency、background_consistency、temporal_flickering、motion_smoothness、dynamic_degree、aesthetic_quality、imaging_quality 等）。
  • 在 ais_bench/benchmark/datasets/ 中新增 VBench 相关数据集/评测器，或调用 VBench 脚本/库产出与 AISBench 统一的结果格式；首期支持离线视频文件 + VBench 维度。
  • 2/14 前对接方式确认、T2V 维度开发启动；3/15 前 T2V 维度接入完成；3/31 前 I2V/首期规划维度完成、文档与示例就绪。

Performance & Flow Control （任务 2）

• 基于 timestamp 的固定流控与调度支持
  Goal: 参考 AIPerf，支持基于 timestamp 的请求流量控制与固定流控，在可复现、可控负载下进行性能测评。
  Owner: @GaoHuaZhang
  Issue: 待补充
  PR: 待补充

  • Trace 支持 timestamp 及固定调度参数（如 fixed_schedule_auto_offset、fixed_schedule_start_offset、fixed_schedule_end_offset）；模型侧提供 use_timestamp 等开关，按 trace 时间序列发送请求。
  • 与 AIPerf Fixed Schedule 语义对齐（单位、偏移、窗口过滤），文档注明兼容性与使用方式；发布《固定流控与时间戳调度》文档。
  • 2/14 前标准定稿、实现启动；2/28 前 trace timestamp 与固定调度联调可用、对齐文档初稿；3/15 前固定流控全流程验收、文档发布。

Model Backend (MindSpore) （任务 3）

• MindSpore 本地模型推理后端
  Goal: 支持以 MindSpore 为推理后端的本地纯模型推理（本地加载、进程内推理，非服务化 API）。
  Owner: @muqing-li
  Issue: 待补充
  PR: 待补充

  • 在 ais_bench/benchmark/models/local_models/ 下新增 MindSpore 实现（如 mindspore.py），与 HuggingFace、vLLM 同级；实现本地加载与 forward 推理，对接 GenInferencer / BaseLocalInferencer。
  • 2/28 前指定模型在 MindSpore 上跑通推理；3/31 前与 BaseLocalInferencer 对接完成、Q1 目标验收。

Evaluation Capabilities (Judge Models) （任务 4）

• 自定义裁判模型评测能力
  Goal: 支持用户配置自定义裁判模型（API/URL），对模型推理结果进行打分，用于主观或维度化评测。
  Owner: @SJTUyh
  Issue: 待补充
  PR: 待补充

  • 定义裁判模型调用约定（输入：prompt/query、模型输出、参考答案等；输出：分数或维度分数）；实现 JudgeModelEvaluator，通过 URL/API 调用外部裁判服务；配置支持 judge_model_url / judge_model_cfg。
  • 2/28 前 API 协议与 JudgeModelEvaluator 实现、至少 1 类任务可用；3/31 前 Q1 交付范围（任务类型、数据集数量）达成。

Image Editing Evaluation (GEdit) （任务 5）

• GEdit 图像编辑精度测评接入 [🙋 Help Wanted]
  Goal: 接入 Step1X-Edit 的 GEdit-Bench，支持图像编辑模型的精度测评，并与官方评测脚本对齐。
  Owner: @SJTUyh
  Issue: 待补充
  PR: 待补充

  • 在 configs/datasets/ 与 datasets/ 中新增 GEdit 数据集，支持“原图 + 编辑指令 → 模型输出图”；实现或封装 GEdit 评测维度，与“自定义裁判模型”对接；与官方评测脚本（指标与流程）对齐并文档化。
  • 3/15 前数据集加载 + 评测维度对接、与官方脚本对齐说明；3/31 前至少 1 个图像编辑模型在 GEdit 上精度评测 + 文档。

Configuration & UX (Fuzzy Matching) （任务 6）

• 配置模糊匹配与搜索支持 [🙋 Help Wanted]
  Goal: 在使用 --datasets / --models（及可选 --summarizer）时支持部分配置名（如 mooncake、qwen）自动搜索与匹配，减少配置路径记忆与查找成本。
  Owner: @SJTUyh
  Issue: 待补充
  PR: 待补充

  • 加载配置时对 --datasets、--models（及可选 --summarizer）先精确后模糊匹配，与 match_files(..., fuzzy=True) 的 pattern 语义一致；--search 与模糊匹配采用同一套规则。
  • 多匹配时保留“歧义提示并选用第一个”或“要求唯一匹配”策略并文档化。
  • 2/14 前实现并合入、文档与待补全项定稿。

Others （可选）

• CI、文档、发布节奏等按需在本季度补充与更新。

补充说明 | Additional Notes

时间约束

• 全部特性需在 3 月 31 日前 完成。

各条补充说明

• 任务 1（VBench）：首期支持离线视频文件 + VBench 维度，与 VBench 官方用法一致。
• 任务 2（性能与流控）：需考虑多进程/多 worker 下的时间对齐；与 AIPerf 使用同一 trace 的验收标准（如时间误差阈值）需明确。
• 任务 3（MindSpore）：MindSpore 本地离线推理，非服务化。
• 任务 4（裁判模型）：裁判 API 的请求/响应协议对齐 OpenCompass。
• 任务 6（模糊匹配）：默认开启模糊匹配。

References

• VBench
• AIPerf
• MindSpore
• Step1X-Edit / GEdit-Bench

[github-actions]

🌟 Welcome to file an issue for the AISBench benchmark tool. We will process your request as soon as possible~

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

FAIL

详细检查

• 操作系统及版本: INCOMPLETE
• 安装工具的python环境: INCOMPLETE

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

[FAIL]

详细检查

• 操作系统及版本: [INCOMPLETE]
• 安装工具的python环境: [INCOMPLETE]
• python版本: [INCOMPLETE]
• AISBench工具版本: [INCOMPLETE]
• AISBench执行命令: [INCOMPLETE]
• 模型配置文件或自定义配置文件内容: [INCOMPLETE]
• 实际行为: [INCOMPLETE]

改进建议

此GitHub Issue的内容是一份路线图（Roadmap），其目的是规划未来功能和发展方向，而非报告具体的工具使用问题或bug。因此，所要求的“操作系统及版本”、“安装工具的python环境”、“python版本”、“AISBench工具版本”、“AISBench执行命令”、“模型配置文件或自定义配置文件内容”以及“实际行为”等信息，通常是针对**问题报告（Bug Report）或功能请求（Feature Request）**类Issue的。

对于路线图类型的Issue，这些信息是不适用且不应包含的。当前Issue的内容结构和信息量对于一份路线图来说是完备且详细的。

如果这份Issue被错误地归类为需要上述信息的类型，那么改进建议是：

1. 操作系统及版本: 缺少运行AISBench的操作系统名称和版本信息。
2. 安装工具的python环境: 缺少Python虚拟环境（如conda env, venv）的名称或描述。
3. python版本: 缺少使用的Python具体版本号（如3.8.x, 3.9.x）。
4. AISBench工具版本: 缺少当前使用的AISBench工具的具体版本号。
5. AISBench执行命令: 缺少导致特定行为或需要讨论的AISBench执行命令。
6. 模型配置文件或自定义配置文件内容: 缺少相关的模型配置文件或自定义配置文件的具体内容。
7. 实际行为: 缺少执行命令后工具的实际输出或表现。

补充说明

当前Issue是一份AISBench 2026 Q1 路线图，其内容非常详细地阐述了当前状态分析、路线图愿景、阶段性目标、关键任务以及补充说明。这些内容完全符合一份

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

FAIL

详细检查

• 操作系统及版本: INCOMPLETE
• 安装工具的python环境: INCOMPLETE
• python版本: INCOMPLETE
• AISBench工具版本: INCOMPLETE
• AISBench执行命令: INCOMPLETE
• 模型配置文件或自定义配置文件内容: INCOMPLETE
• 实际行为: INCOMPLETE

改进建议

此GitHub Issue的内容是一份详细的产品路线图（Roadmap），其目的在于规划未来功能和发展方向。而您提供的“Required Sections”列表（操作系统及版本、Python环境、AISBench版本、执行命令、配置文件、实际行为）通常适用于问题报告（Bug Report）或功能请求（Feature Request），用于复现特定问题或描述具体使用场景。

因此，对于这份路线图Issue，上述所有必填信息均不适用且无法提供。路线图的重点在于“规划”而非“执行细节”。

如果这份Issue的类型确实是路线图，那么这些必填字段是不需要的。如果这份Issue被错误地归类为路线图，而实际上应该是一个需要提供这些细节的报告，那么建议：

1. 操作系统及版本: 补充执行AISBench的操作系统名称和版本号（例如：Ubuntu 20.04, Windows 10）。
2. 安装工具的python环境: 补充Python环境的类型（例如：conda环境、venv环境）及相关配置信息。
3. python版本: 补充使用的Python版本号（例如：Python 3.8.10）。
4. AISBench工具版本: 补充当前使用的AISBench工具的具体版本号或commit ID。
5. AISBench执行命令: 补充导致问题或需要讨论的具体AISBench执行命令。
6. 模型配置文件或自定义配置文件内容: 补充相关的模型配置文件或自定义配置文件的具体内容。
7. 实际行为: 补充在执行命令后观察到的具体行为或输出。

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

FAIL

详细检查

• 操作系统及版本: INCOMPLETE
• 安装工具的python环境: INCOMPLETE
• python版本: INCOMPLETE
• AISBench工具版本: INCOMPLETE
• AISBench执行命令: INCOMPLETE
• 模型配置文件或自定义配置文件内容: INCOMPLETE
• 实际行为: INCOMPLETE

改进建议

此 GitHub Issue 的内容是一个“路线图”文档，旨在规划未来的工作和目标，而非报告一个具体的问题或请求一个需要复现步骤的功能。因此，所要求的“操作系统及版本”、“安装工具的python环境”、“python版本”、“AISBench工具版本”、“AISBench执行命令”、“模型配置文件或自定义配置文件内容”以及“实际行为”等信息通常不适用于此类路线图性质的 Issue。

如果此 Issue 确实需要包含这些信息，那么：

• 操作系统及版本: 缺少关于执行 AISBench 工具的操作系统及其版本信息。
• 安装工具的python环境: 缺少关于安装 AISBench 工具所使用的 Python 环境的详细说明（例如，是否使用 conda, venv 等）。
• python版本: 缺少关于所使用的 Python 版本信息。
• AISBench工具版本: 缺少关于当前或目标 AISBench 工具的版本信息。
• AISBench执行命令: 缺少任何具体的 AISBench 执行命令，这对于路线图 Issue 来说是不适用的。
• 模型配置文件或自定义配置文件内容: 缺少任何具体的模型配置文件或自定义配置文件的内容，这对于路线图 Issue 来说是不适用的。
• 实际行为: 缺少关于某个特定操作或场景的“实际行为”描述，这对于路线图 Issue 来说是不适用的。

补充说明

此 Issue 的标题为 [Roadmap] AISBench 2026 Q1 Roadmap，内容详细描述了 AISBench 在 2026 年第一季度的当前状态、愿景、阶段性目标和关键任务。从其性质来看，这是一个规划和信息共享的 Issue，而非一个需要技术细节来复现问题或功能的 Issue。因此，所要求的这些技术细节（如操作系统、Python 版本、执行命令等）与路线图的上下文不符。

如果这些“Required Sections”是针对所有类型的 GitHub Issue 的通用要求，那么此 Issue 确实缺少这些信息。但如果这些要求是针对特定类型 Issue（如 Bug Report 或 Feature Request）的，那么对于

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库

[github-actions]

🤖 基于AI机器人的issue内容完整性检查结果:

问题内容检查结果

检查状态

[FAIL]

详细检查

• 操作系统及版本: [INCOMPLETE]
• 安装工具的python环境: [INCOMPLETE]
• python版本: [INCOMPLETE]
• AISBench工具版本: [INCOMPLETE]
• AISBench执行命令: [INCOMPLETE]
• 模型配置文件或自定义配置文件内容: [INCOMPLETE]
• 实际行为: [INCOMPLETE]

改进建议

此GitHub Issue的内容是一份产品路线图（Roadmap），而非一个具体的Bug报告或功能请求。因此，所要求的“操作系统及版本”、“安装工具的python环境”、“python版本”、“AISBench工具版本”、“AISBench执行命令”、“模型配置文件或自定义配置文件内容”以及“实际行为”等技术细节信息均不适用于此类型Issue，也未在内容中提及。

如果此Issue的目的是发布路线图，则当前内容是完整的，但与所提供的“Required Sections”不匹配。如果此Issue被错误地归类，或者“Required Sections”列表适用于所有类型的Issue，那么所有这些部分都是缺失的。

具体缺失信息：

• 操作系统及版本: 缺失。
• 安装工具的python环境: 缺失。
• python版本: 缺失。
• AISBench工具版本: 缺失。
• AISBench执行命令: 缺失。
• 模型配置文件或自定义配置文件内容: 缺失。
• 实际行为: 缺失。

补充说明

此Issue的内容是关于AISBench 2026 Q1的路线图，详细阐述了未来的规划、目标、当前状态分析和阶段性目标。它是一个高层次的规划文档，不涉及具体的代码执行、环境配置或问题复现。因此，所要求的技术细节（如OS、Python版本、执行命令等）与此Issue的性质不符。

如果此检查是针对报告具体问题或使用场景的Issue，则此Issue内容严重不完整。如果此检查是针对路线图类Issue，则“Required Sections”列表本身可能不适用。

👉 如果想重新检查，在评论区@issue_checker即可。

【强烈推荐❤️‍🔥】确保issue描述完整后，可以试着将issue交给回答，deepwiki包含了和工具相关的所有知识库