字节Seed找到了DeepSeek-V4时强时弱的原因

字节Seed团队发现，DeepSeek-V4的表现会随信息输入位置每隔4个Token周期性变化，原因与分块KV Cache压缩有关。该团队称，在128K长上下文检索测试中，同一条信息只换位置，DeepSeek-V4-Flash-Base检索准确率最高可差40.2个百分点；后训练后DeepSeek-V4.1-Flash-0910的差距降至6.1个百分点，但周期性差异依然存在。