1. 举座是什么水平

DeepSeek V4此次放出来两个MoE模子，一个是Pro版，总参数1.6万亿，每次激活490亿；另一个是Flash版，总参数2840亿，每次激活130亿，两个都原生维持100万token高低文。

从 benchmark 末端来看，Pro版的最大推理模式Pro-Max，目下仍是是开源模子里新的天花板了，常识、推理、长文本都全面跳跃上一代，以致在百万高低文任务上跳跃了Gemini 3.1 Pro，Codeforces排行能到东说念主类前23%，推理才调仍是接近顶级闭源模子的水平。Flash版固然参数小，给够推理预算，推理才调也能对标主流闭源模子，性价比很高。

2. 中枢时刻创新：搀杂压缩留神力处分长高低文服从问题

传统的留神力机制野心量是和高低文长度泛泛成正比的，高低文越长，野心量涨得越快，这是百万高低文最大的瓶颈。

DeepSeek V4的处分决议是搀杂两种压缩留神力：压缩寥落留神力CSA和重度压缩留神力HCA，轮流组合使用，把野心量和睦存体积压下来。

先讲压缩寥落留神力CSA

这种压缩的念念路说白了等于：远方的信息不需要每个token都保留，把多个token压缩成一个，再挑最有关的拿来用。

具体分这几步：

1. 第一步：压缩KV缓存，每m个原始token压缩成一个压缩KV条件，CSA默许m=4，也等于长度告成造成蓝本的四分之一。压缩的时候不是粗浅平均，而是给每个原始token学了权重，加上位置偏置，用softmax归一化之后再加权乞降，保证压缩的时候不会丢太多信息，况兼相邻压缩块还会重迭少许，幸免规模信息丢失。

2. 第二步：寥落选拔，压缩完之后，每个query token只选top-k个最有关的压缩KV条件来作念留神力，Pro版选1024个，Flash版选512个。为了快速选对，有益作念了一个轻量的Lightning Indexer，用低秩的方式算有关性，不会加太多异常野心。

3. 补充局部信息，因为压缩之后合并个压缩块里的细节信息没了，况兼最近的token通常是最有关的，是以异常加了一个滑动窗口分支，保留最近128个不压缩的token，和选出来的压缩KV放在一说念作念留神力，兼顾全局和局部的细节。

压缩寥落留神力CSA的架构图

再讲重度压缩留神力HCA

HCA的念念路更激进，追求更高的压缩率，默许压缩率m'=128，也等于长度告成造成蓝本的128分之一。它无须寥落选拔那一套了，压缩完之后告成作念全隆盛留神力，结构更粗浅。

除了压缩率更大，其余的结构和CSA差未几：都保留滑动窗口补充局部信息，都用分享KV的多查询留神力，都分分组输出投影镌汰野心量，中枢区别等于压缩率和要不要寥落选拔。

重度压缩留神力HCA的架构图

本体服从擢升有多大

字据DeepSeek给出的数据，在100万token高低文的情况下：

DeepSeek V4-Pro：单token推理FLOPs惟一上一代V3.2的27%，KV缓存惟一10%

DeepSeek V4-Flash：单token推理FLOPs惟一V3.2的10%，KV缓存惟一7%

况兼KV缓存还用了搀杂精度存储，RoPE维度用BF16，其余用FP8，比纯BF16又省了一半空间，索引部分的野心告成用FP4，进一步提速。这样一套组合拳打下来，百万高低文才从蓝本的“履行室玩物”造成了不错日常用的功能。

3. 另外两个架构升级

除了留神力，DeepSeek V4还改了两个所在，擢升磨练踏实性和模子才调。

流形管制超贯穿mHC：纠正传统残差贯穿

传统的残差贯穿等于粗浅的x + f(x)，之前有东说念主建议超贯穿HC，把残差流的宽度放大，不增多内层野心量就能擢升模子抒发才调，但问题是堆多层之后磨练容易不踏实。

mHC等于给HC加了管制：把残差映射矩阵杀青在双随即矩阵的流形上，保证映射的谱范数不跳跃1，正向反向传播都不会梯度爆炸，磨练更踏实。同期输入输出映射也加了非失言束，幸免信号对消。

本体用下来，mHC只增多了不到7%的磨练时刻，就能带来显然的性能擢升，算是一笔很合算的交易。

Muon优化器：更快拘谨更踏实

DeepSeek V4大部分参数都用了Muon优化器，惟一镶嵌、输出面、RMSNorm这些还用AdamW。Muon比传统AdamW拘谨更快，磨练更踏实，它的中枢是用牛顿舒尔茨迭代作念正交化，让权重更新更踏实。

DeepSeek这里还作念了优化，用两阶段搀杂牛顿舒尔茨迭代，前8步用一组整个快速拘谨，临了2步换另一组整个把奇异值踏确凿1，服从比蓝本的更好。

4. 底层基础方式优化

要把这些新架构跑顺，底层工程优化少不了，这里挑几个要津的讲。

众人并行的细粒度活水阴私通讯延长

MoE模子用众人并行，通讯一直是瓶颈。DeepSeek把众人分红多波，每波众人完成通讯就坐窝启动野心，无须等整个众人都传完数据，让通讯和野心王人备重迭，把延长阴私掉。

实测下来，这个决议比蓝本的非和会决议快1.5到1.73倍，RL推理这种对延长明锐的场景，最高能快1.96倍，有关的MegaMoE内核仍是开源了。

FP4量化感知磨练

为了省内存提速率，DeepSeek把MoE众人权重和CSA索引的QK旅途都作念了FP4量化，况兼是量化感知磨练，不是训完再量化，是以精度掉的很少。

这里有个巧念念：FP4量化之后转成FP8野心是无损的，因为FP8比FP4多两个指数位，动态范围更大，只须块内最大最小比例不跳跃阈值，就能王人备复原，是以无须改现存FP8磨练框架就能用，推理的时候告成用FP4权重，如实能省内存提速率。

有益为搀杂留神力瞎想的KV缓存管理

搀杂留神力有好几种不同的KV，压缩比和更新规章都不相同，传统的分页缓存不太适配。DeepSeek把缓存分红了两部分：

现象缓存：存滑动窗口的KV，还有还没凑够压缩数目的未压缩尾部token，每个申请预分派固定大小的块

经典压缩缓存：存仍是压缩好的CSA和HCA的KV，按块分派，每个块覆盖两种压缩率的最小公倍数个原始token

还维持磁盘缓存存分享前缀，重复申请无须重复瞻望算，不同计谋适配不同场景，均衡存储和野心。

5. 磨练和后磨练的优化

预磨练阶段，Flash版磨练了32T token，Pro版磨练了33T token，从4K序列长度安宁拉长到1M，磨练不踏实的问题，DeepSeek用了两个小手段处分：

1. 预期路由：主干网罗和路由网罗不同步更新，路由用历史参数算索引，提前缓存，际遇loss spike才自动开启，不怎样增多异常支拨就能处分 spikes

2. SwiGLU截断：把SwiGLU的线性重量杀青在[-10,10]，门重量上限10，排斥数值 outliers，踏实磨练

后磨练用了新的经由：先分裂磨练各个范围的众人模子，每个众人单独作念SFT和RL，临了用在线计谋蒸馏把多个众人的才调合并到一个模子里，比蓝本的搀杂RL服从好，不会有性能退化。

还维持三种推理模式，夸耀不同场景：不念念考模式符合日常快速反映，高念念考模式符合复杂问题，最大念念考模式有益用来冲推理极限，把推理才调拉满。器具调用也改了新的schema，镌汰调用罪责率，还维持保留多轮推理历史，长周期agent任务无须每次重新构建现象。

6. 本体体验和行业影响

从评测末端来看，DeepSeek V4-Pro-Max目下如实是开源模子的新天花板：常识类SimpleQA比之前的开源模子高了20个百分点，推理上Codeforces评分达到3206，仍是和GPT-5.4差未几，是第一次开源模子在代码竞赛上追平顶级闭源模子；百万高低文任务上，MRCR检索跳跃Gemini 3.1 Pro，本体华文任务上，写稿赢了Gemini 3.1 Pro，白领任务不输给Claude Opus 4.6，代码代理也接近Opus 4.5的水平。

最要津的不是它作念到了百万高低文，而是它作念到百万高低文的同期，把推理本钱降下来了。蓝本跑百万高低文，需要的显存和野心量高到离谱，一般玩家玩不起，目下DeepSeek把野心量和睦存都压到蓝本的十分之一，让百万高低文确凿能用了。

这相配于给测试时刻缩放翻开了新空间，以后模子要擢升推理才调，就不错放开了多推理、多念念考，无须被高低文长度和野心本钱卡住。

长周期agent、全文档分析、在线学习这些标的，也有了更塌实的基础。

总结一下。

DeepSeek-V4是一整套从架构到工程到磨练到推理的全面优化。

1.6T参数，49B激活，百万高低文，27%的野心量，10%的KV缓存。

这组数字放在一说念，等于四个字——服从立异。

已往的模子在处理长文本时，就像是开着皮卡拉货，油耗高、跑得慢。

DeepSeek-V4相配于又快又省。

天然，它也有缺陷——架构太复杂了，多样trick叠在一说念。

但话说总结，在这个算力等于财富的时间，谁能用更少的钱跑出更好的服从，谁等于牛X。

DeepSeek-V4，等于阿谁能让你少用钱多服务的狠扮装。

手里的矿再多云开体育，也不如脑子里的活好使。