请问技术报告中的MiniCPM-o 2.6 的 meld 指标是使用的哪个模型跑的？

[Chaotic-chaos]

您好，非常感谢您的工作；我这边在自行复现结果的时候，使用MiniCPM-o 2.6-audio 跑出来的 meld 结果无法跟技术报告中的 52.4 对齐，想问下您这边使用的具体模型和 prompt 是什么呢？

[UltraEval]

模型：--model MiniCPMo2_6-audio
加上prompt选项： --prompt mini-cpm-omni-emotion_analysis

[UltraEval]

prompt具体内容在这里查找：
https://github.com/OpenBMB/UltraEval-Audio/blob/main/registry/prompt/mini-cpm-omni.yaml

[Chaotic-chaos]

非常感谢您迅速的回复，
这个跟默认的 emo_analysis prompt 有什么区别吗？后续测试其他模型也需要单独指定吗？

[UltraEval]

非常感谢您迅速的回复， 这个跟默认的 emo_analysis prompt 有什么区别吗？后续测试其他模型也需要单独指定吗？

看下模型方有没有提供官方prompt，比如qwen2-audio提供了官方prompt, 评测的时候需要指定promp https://github.com/OpenBMB/UltraEval-Audio/blob/main/registry/prompt/qwen2-audio-pretrain.yaml

但是qwen2-audio-instruct没有提供官方prompt，无法指定prompt所以不指定prompt。

这里MiniCPM-o 2.6提供官方prompt。

另外，技术报告里的meld是对应的是meld-emo数据集；最近修复了一个hf音频的路引导致的bug，遇到过于奇怪的case, 可以重新pull下代码

[fzhml]

MiniCPM-o 2.6有mini-cpm-omni-ast-zh 的prompt吗？好像只mini-cpm-omni-ast-en的

[UltraEval]

MiniCPM-o 2.6有mini-cpm-omni-ast-zh 的prompt吗？好像只mini-cpm-omni-ast-en的

AST 2zh: --prompt mini-cpm-omni-asr-zh

中文的和asr公用一个prompt