操作系统及版本
openEuler 22.03 (LTS-SP4)
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.10
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets omnidocbench_gen --debug
模型配置文件或自定义配置文件内容
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="models_weight/Qwen2.5-VL-7B-Instruct/",
model="qwen25_vl_7b",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=8080,
url="",
max_out_len=512,
batch_size=1,
trust_remote_code=False,
generation_kwargs=dict(
temperature=0.01,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
服务化拉起通过--allowed-local-media-path指定数据集绝对路径
预期行为
评测正常，正常输出精度值
实际行为
在aisbench安装包代码根目录（即benchmark/）执行命令评测正常
切换到其他目录执行相同命令服务化会报错，提示评测发出请求的数据集路径和服务化指定数据集所在路径不一致，asibench发出的请求实际为：{执行命令路径}/ais_bench/datasets，应为：{安装包代码根目录(即benchmark)}/ais_bench/datasets
前置检查
操作系统及版本
openEuler 22.03 (LTS-SP4)
安装工具的python环境
在anaconda/miniconda创建的python虚拟环境
python版本
3.10
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets omnidocbench_gen --debug
模型配置文件或自定义配置文件内容
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-general-chat",
path="models_weight/Qwen2.5-VL-7B-Instruct/",
model="qwen25_vl_7b",
stream=False,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=8080,
url="",
max_out_len=512,
batch_size=1,
trust_remote_code=False,
generation_kwargs=dict(
temperature=0.01,
ignore_eos=False,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
服务化拉起通过--allowed-local-media-path指定数据集绝对路径
预期行为
评测正常，正常输出精度值
实际行为
在aisbench安装包代码根目录（即benchmark/）执行命令评测正常
切换到其他目录执行相同命令服务化会报错，提示评测发出请求的数据集路径和服务化指定数据集所在路径不一致，asibench发出的请求实际为：{执行命令路径}/ais_bench/datasets，应为：{安装包代码根目录(即benchmark)}/ais_bench/datasets
前置检查