Skip to content

[需求] 【AISBench】支持数据集geometry3k精度测评 #454

Description

@jschen069

问题/痛点描述

【需求背景】
字节客户要求RL验收标准需要使用 aisbench 测试 geo3k 数据集(hiyouga/geometry3k · Datasets at Hugging Face),

【验收标准】:

  1. aisbench 支持 geo3k 数据集(hiyouga/geometry3k · Datasets at Hugging Face)完成RL推理测评。
    模型:Qwen3.5 35B + vllm
    指定geo3k 数据集,完成推理测评,aisbench实测 vs 官网脚本(verl场景)实测,精度差异 < 1%。

建议方案

参考verl实现

备选方案

No response

预期价值

aisbench实现geo3k数据集评测,增加竞争力

参与意向

  • 我愿意参与此功能的开发或测试

Metadata

Metadata

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions