操作系统及版本
Ubuntu 22.04
安装工具的python环境
在物理机/虚拟机自带python环境
python版本
3.10
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets gsm8k_gen_4_shot_cot_chat_prompt -m perf --debug
模型配置文件或自定义配置文件内容
figs/models/vllm_api/vllm_api_general_chat.py
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="/root/.cache/modelscope/hub/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp",
model="dsv4",
stream=True,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=8900,
url="",
max_out_len=1000,
batch_size=30,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0.01,
ignore_eos=True,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
预期行为
No response
实际行为
数据集明确有1319条数据，测试命令正确，只跑1条测试
前置检查
操作系统及版本
Ubuntu 22.04
安装工具的python环境
在物理机/虚拟机自带python环境
python版本
3.10
AISBench工具版本
3.1.20260630
AISBench执行命令
ais_bench --models vllm_api_stream_chat --datasets gsm8k_gen_4_shot_cot_chat_prompt -m perf --debug
模型配置文件或自定义配置文件内容
figs/models/vllm_api/vllm_api_general_chat.py
from ais_bench.benchmark.models import VLLMCustomAPIChat
from ais_bench.benchmark.utils.postprocess.model_postprocessors import extract_non_reasoning_content
models = [
dict(
attr="service",
type=VLLMCustomAPIChat,
abbr="vllm-api-stream-chat",
path="/root/.cache/modelscope/hub/models/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp",
model="dsv4",
stream=True,
request_rate=0,
use_timestamp=False,
retry=2,
api_key="",
host_ip="localhost",
host_port=8900,
url="",
max_out_len=1000,
batch_size=30,
trust_remote_code=True,
generation_kwargs=dict(
temperature=0.01,
ignore_eos=True,
),
pred_postprocessor=dict(type=extract_non_reasoning_content),
)
]
预期行为
No response
实际行为
数据集明确有1319条数据，测试命令正确，只跑1条测试
前置检查