Skip to content

Latest commit

 

History

History
 
 

README.md

主流模型介绍

🔍内容总览

模型名称 架构关键词 常见参数规模(总/激活) 上下文长度 发布时间
DeepSeek V3 MLA+MoE 671B/37B 128K 2024年12月
Kimi K2 MLA+MoE 1T/32B 128K 2025年7月
DeepSeek V3.2 MLA+DSA 685B级 128K 2025年12月
DeepSeek V4 Hybrid Attention(CSA+HCA)+MoE+mHC 1.6T/49B(Pro);284B/13B(Flash) 1M 2026年4月
Kimi K2.5 MLA+MoE+MoonViT 1T/32B 256K 2026年1月
GLM 5 MLA(DSA)+MoE 744B/40B 200K 2026年2月
MiniMax M2.5 GQA+MoE 229B/10B 200K 2026年2月
Qwen3.5 Gated DeltaNet+Gated Attention+MoE 397B/17B(MoE版) 262K 2026年2月
Qwen3-VL DeepStack+Interleaved-MRoPE 32B;235B/22B 256K 2025年10月
Step 3.5 Flash GQA+SWA+MoE+MTP 196B/11B 256K 2026年2月

🖼️架构图索引

DeepSeek V3架构图

Kimi K2架构图

DeepSeek V3.2架构图

DeepSeek V4架构图

Kimi K2.5架构图

GLM 5架构图

MiniMax M2.5架构图

Qwen3.5 397B A17B架构图

Qwen3.5 27B架构图

Qwen3-VL 32B架构图

Qwen3-VL 235B A22B架构图

Step 3.5 Flash架构图