vocab相關問題 #5
Description
在贵团队提供的vocab表里，我发现英文的vocab（vocab_wiki_4k_en.json）内有包含一般LLM需要的特殊token，但是中文（vocab_wiki_4k.json）的只有“”,论文内似乎没提到为什么可以不需要诸如“[PAD]”等等的token，是因为英文资料集的预处理与中文的不一样吗？
{{ message }}
在贵团队提供的vocab表里，我发现英文的vocab（vocab_wiki_4k_en.json）内有包含一般LLM需要的特殊token，但是中文（vocab_wiki_4k.json）的只有“”,论文内似乎没提到为什么可以不需要诸如“[PAD]”等等的token，是因为英文资料集的预处理与中文的不一样吗？