博客详情

字节跳动 Seed 团队在测试 DeepSeek-V4 时，发现一个异常现象：模型补全其 FP8 推理内核中的一行代码时，标准答案是 8，但它却频繁输出 32。研究人员没有修改任何核心代码，仅在前面一段无关紧要的注释中逐个增加装饰性的 = 符号，模型的答案就在 8 和 32 之间来回翻转，且每隔 4 个 Token 就重复一轮。这一现象并非随机误差。

Seed 团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校的研究人员，对 DeepSeek-V4、V4.1 进行了系统测试，并在论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》中揭示了 DeepSeek 压缩稀疏注意力架构的技术缺陷。在 128K 长上下文检索实验中，仅因目标信息所处的 Token 位置不同，DeepSeek-V4-Flash 的检索准确率落差高达 40.23 个百分点。DeepSeek 团队已在 V4 后训练版本和 V4.1 中改善此问题，但仍未完全消除周期性性能差异。

Seed 团队将这一现象称为“相位敏感性”，可视为长文本压缩机制下难以回避的周期性软肋。论文核心贡献者首位是字节 Seed 实习生、普林斯顿大学计算机系博士生朱星宇（Xingyu Zhu），他本科毕业于杜克大学，师从 Sanjeev Arora，此前已有成果入选 ICML 2025 Spotlight，并斩获 ICLR 2026 RSI Workshop 最佳论文。论文正文仅 10 页，参考文献 3 页，附录 52 页，包含大量因果干预、注意力头消融和数学动力学证明。

问题的源头在于 DeepSeek-V4 的块压缩稀疏注意力（CSA）机制。传统 Transformer 中，长文本会导致 KV Cache 显存暴增，DeepSeek-V4 采用两种压缩注意力：CSA（步长 8、步长 4 的重叠滑动窗口）和 HCA（每 128 个 Token 合并一条）。这套设计降低了成本，但打破了 Transformer 的平移对称性。CSA 每向前 4 个 Token 打包一次，使每个 Token 产生隐式的相位属性。在全注意力模型中，位置对编码无影响，但在分块压缩下，不同位置的信息保留程度不同，导致模型检索能力差异。

Seed 团队进行了 128K 长上下文“大海捞针”实验，埋入 1.6 万组 Key-Value 记录，通过调整填充长度将目标 Key 按 Token 位置对 8 取余分组。DeepSeek-V4-Flash 基座模型最差位置组准确率仅 29.69%，最好位置组达 69.92%，相差 40.23 个百分点。后训练版本差距缩小，但相位敏感性依然存在。此前长文本榜单未测出此问题，因为传统测试随机散落目标信息，平均分掩盖了极端表现。Seed 基于 Qwen3-0.6B 的对照实验显示，全注意力模型最差位置准确率 58.4%，而压缩模型最差位置跌至 9.9%，落差达 71.1 个百分点。

DeepSeek 在 V4.1-Flash 中调整了压缩机制：压缩步长减半（CSA2），并引入 Engram 模块。评测显示，V4.1-Flash 最好与最差相位落差从 40% 收窄至 6.1 个百分点，但周期性并未消失，而是退化至 2 为周期：偶数位置准确率 95%，奇数位置 89%~90%。步长减半缓解了问题，但相位敏感性的本质未消除。

这项研究揭示了 DeepSeek-V4 长上下文压缩机制的硬伤，但得益于 DeepSeek 开放权重的底气。评论区指出，开源项目引来全行业排查盲区，竞争对手也成为有价值审查员。同时，系统工程与算法团队的拉扯引发共鸣：CSA 策略压缩比越大 Infra 越爽，但模型遗忘信息只能训后知晓。省下算力可能损失信息保真度，系统团队不能只汇报吞吐，算法团队不能只看平均跑分，硬件吞吐的妥协需算法表达买单。九游百家乐对此现象进行了深入分析。