问题/痛点描述
【需求背景】
字节客户要求RL验收标准需要使用 aisbench 测试 geo3k 数据集(hiyouga/geometry3k · Datasets at Hugging Face),
【验收标准】:
- aisbench 支持 geo3k 数据集(hiyouga/geometry3k · Datasets at Hugging Face)完成RL推理测评。
模型:Qwen3.5 35B + vllm
指定geo3k 数据集,完成推理测评,aisbench实测 vs 官网脚本(verl场景)实测,精度差异 < 1%。
建议方案
参考verl实现
备选方案
No response
预期价值
aisbench实现geo3k数据集评测,增加竞争力
参与意向
问题/痛点描述
【需求背景】
字节客户要求RL验收标准需要使用 aisbench 测试 geo3k 数据集(hiyouga/geometry3k · Datasets at Hugging Face),
【验收标准】:
模型:Qwen3.5 35B + vllm
指定geo3k 数据集,完成推理测评,aisbench实测 vs 官网脚本(verl场景)实测,精度差异 < 1%。
建议方案
参考verl实现
备选方案
No response
预期价值
aisbench实现geo3k数据集评测,增加竞争力
参与意向