演讲精读 / KEYNOTE DISTILLED 月之暗面 · KIMI 创始人 40 分钟

开源模型的 三维扩展之路

SCALING OPEN MODELS IN THREE DIMENSIONS
FIG.0 — 15T TOKENS, ZERO LOSS SPIKE.「我一生中见过的最美丽的曲线之一。」

估值超 200 亿美元的月之暗面，把这一课讲成了一份开源模型的技术蓝图：Scaling 不再只是堆 token，而是在 Token 效率、上下文长度、智能体数量三个维度上同时扩展—— 再乘以原生多模态与下一代架构，构成 Kimi K2.5 的全部底座。

讲者 Speaker杨植麟 · Kimi 创始人
时长 Duration40 MIN
核心 CoreMuonClip / Kimi Linear / Swarm
来源 SourceTranscribeGo 转录
00

序 · 开源必须足够强大

OPEN IS NOT ENOUGH — OPEN MUST BE GREAT

演讲从一个信念开始：智能的民主化。开源模型可以部署在任何地方——本地服务器或云端，你可以访问每一个权重，而不是面对一个黑盒子。正如 CES 上 Jensen 的那张幻灯片所示，开源模型正在快速缩小与专有模型的差距，抵达前沿。

但开源不能只做到「开放」，还必须做到「优秀」。而过去几年 AI 几乎所有重大进展的驱动力只有一个词：扩展（Scaling）。这堂课的问题是——除了堆更多 token，我们还能在哪些维度上扩展？

DIM · 1

Token 效率

Token Efficiency

把扩展曲线向左移：同样的训练 token，实现低得多的 loss。本质是更强的先验，让智能体 RL 搜索更高效。

Muon Optimizer
+ QK Clip
×
DIM · 2

上下文长度

Context Length

更长的上下文 = 更高的预测准确率 = 更复杂的任务。让智能体可以连续运行数天、数周甚至数月。

Kimi Linear
+ Delta Attention
×
DIM · 3

智能体集群

Agent Swarm

不再依赖单个智能体，而是编排一个集群并行完成子任务，把任务容量提升一个量级。

Orchestrator
+ RL 奖励设计
STRONG PRIOR × INFINITE CONTEXT × PARALLEL SWARM = NEXT-GEN OPEN MODEL
01

Token 效率 · 榨干每一份数据

MUON OPTIMIZER + QK CLIP

经典的 Kaplan 扩展定律告诉我们：按比例扩展 token、参数、算力，loss 就会持续下降。但 Kimi 关心的是另一件事——让曲线向左移动。这不只是基础设施省钱的问题，而是智能上限的问题。

逻辑很简单：假设世界上只有 50 万亿高质量 token，而优化器带来 2 倍 token 效率——那就像魔法一样，你等价拥有了 100 万亿。在数据枯竭的时代，token 效率就是智能本身。

MUON — 二阶优化器 update ← orthogonalize(gradient) # 每次梯度更新正交化，与 Adam 本质不同 key1 : Weight Decay (WeDK) # 扩展到大模型的关键 key2 : 可调系数匹配 Adam 的 RMS # 保证更新幅度一致 impl : 分布式优化器，在数据并行组间划分空间 # NVIDIA 集群内存高效

同样的参数、同样的数据，只把 Adam 换成 Muon，性能全面提升。Kimi 发表了第一篇证明 Muon 可扩展到 LLM 训练的论文。但真正的考验在 1 万亿参数——训练开始失控。

  • 症状Max logits 爆炸：正常值约 50–100，Muon 训练中迅速突破 1000；loss 先降后炸，无法收敛。
  • 处方QK Clip：前向传播中对每个注意力头计算最大 logit，动态算出除法因子，把 Q 和 K 的最大值裁剪到给定范围。
  • 结果裁剪对 loss 曲线零影响（两条曲线完全重叠），但 max logit 被约束在 100，随后神经网络自己学会了自然回落。
QK CLIP — 逐头动态裁剪 m = max_logit(QKᵀ) # 每个 attention head 前向时计算 q,k ← q/λ, k/λ where λ = max(1, m/τ) # τ 为阈值，超界即裁剪 # 首次将 Muon 稳定扩展到 1T 参数 — 机器学习史上首例大规模 Muon 训练
2×Token 效率提升
vs Adam
1T参数规模
MuonClip 稳定训练
50T→100T高质量数据的
等价魔法
02

长上下文 · 让记忆无限延伸

KIMI LINEAR + DELTA ATTENTION

一张「隐藏的瑰宝」图表揭示了 Transformer 胜出的真正原因：同样的参数和数据，Transformer 不仅 loss 更低，更重要的是——随着 token 索引增大，loss 持续下降；而 LSTM 的曲线很快饱和。十年前的 LSTM 做不了的事——理解整个代码库、跑超长智能体轨迹、从头解决 Linux 内核问题——正是智能体时代的日常。

研究目标因此明确：设计一个能高效扩展到百万级上下文的架构。但原始线性注意力有个致命缺陷——全局单一衰减因子太粗糙：要么几乎全忘，要么几乎全记，没有能力在长上下文中丢弃无用信息。

KIMI DELTA ATTENTION — 精细衰减 原始 : α 是标量 # 全局统一衰减，非黑即白 改进 : α 是对角矩阵 # 逐通道控制衰减率 ├ 慢衰减通道 → 长期记忆，跨超长上下文回取信息 └ 快衰减通道 → 快速遗忘，刷新并接收新信息 工程 : 重写为 3 个并行方程（矩阵逆 + 累积衰减因子） # 精确数学等价，非近似 — 效率无损，表达力大增

架构上，Kimi Linear 以 1:3 的比例混合线性注意力层与全注意力层（KDA + MLA），在长上下文能力与计算效率之间取得平衡。

  • 短上下文MMLU 等任务上，Kimi Linear 优于 MLA 与 GDN 等全注意力变体。
  • 长上下文RULER 基准上同样领先，且效率远高于 MLA；扩展到 100 万 token+ 时优势急剧放大。
  • 历史首次第一个在短上下文、长输入、长输出所有维度上全面超越全注意力的线性架构。
03

智能体集群 · 像公司一样协作

AGENT SWARM + RL REWARD DESIGN

第三个维度不再关乎模型本身，而是关乎组织方式。一个 Orchestrator（主智能体）负责分解任务、派发子智能体、收集结果、迭代推进——正如一家公司需要 CEO 把目标拆解给 AI 研究员、Web 开发者、物理研究员，最后由事实核查员和文件下载器汇编成一份报告。

数据证明了范式的价值：任务越复杂，集群相比单智能体的执行时间缩短越明显。用 100 甚至 1000 个智能体并行，复杂任务第一次在可容忍的时间内产出真正的经济价值——并行下载阅读数千来源、并行撰写百页文献综述、同时为 10 个任务做数据分析。

难点在于：如何让模型学会编排？答案是三个精心设计的强化学习奖励函数——

AGENT SWARM RL — 三重奖励机制
奖励对治的问题机制
实例化奖励
Instantiation		 智能体「偷懒」，退化为单智能体串行执行 激励创建子智能体并行执行；训练初期权重高，学会后逐步衰减
完成奖励
Completion		 子任务被批量创建却从不完成——「刷」第一项奖励 要求每个子任务有较高完成率，杜绝无意义的伪任务；同样采用衰减策略
结果奖励
Result		 整体任务质量的最终度量 标准项：衡量整个任务是否真正完成

「智能体集群不是终点——我们将拥有一个集群，其中每个智能体都有超长上下文和极强的先验。」

KIMI FOUNDER, ON THE ENDGAME
04

Kimi K2.5 · 三位一体的果实

STABLE TRAINING × NATIVE MULTIMODALITY

三项扩展技术合体，诞生了一个多月前发布的 Kimi K2.5。基础模型吃下了超过 15 万亿 token，全程零 loss spike——即便引入了全新的 Muon 优化器。这条平滑稳定的曲线，被演讲者称为「一生中见过的最美丽的曲线之一」。训练在 NVIDIA H800 集群上完成（8 GPU / 2TB 显存节点）。

15T+训练 Tokens
零 Loss Spike
Day 1视觉+文本联合训练
Early Fusion
0视觉 SFT 数据
Zero-Vision SFT

K2.5 是第一个原生联合视觉-文本能力的开源模型。过去的开源模型是先训 20T 文本、再「嫁接」2T 视觉；K2.5 从 0% 进度起就混合两种模态—— Early Fusion，实验明确优于后期融合。视觉到代码这类能力，只有两种模态对齐到同一个共享表示空间才可能涌现。

  • 视觉 → 文本只用视觉任务训练（数数、视觉 QA，不含任何数学代码），纯文本任务的性能反而提升。
  • 文本 → 视觉强大的文本基础 + 预训练对齐 = 零视觉 SFT 数据，仅靠文本 SFT + 联合 RL，就在视觉任务上逼近 SOTA。
  • 涌现能力看一段视频，生成一个复刻它或风格迁移的网站——视觉设计力与前端编码力从联合训练中自然长出。

「这两种模态实际上可以互相增强——长期以来，给文本模型加视觉总会损害文本性能；但如果训得对，恰恰相反。」

KEY FINDING, K2.5 TRAINING
05

预告 · 把 Attention 旋转 90°

ATTENTION RESIDUAL — NEXT-GEN ARCHITECTURE

演讲以刚发布的技术报告收尾。灵感来自一个漂亮的类比：Ilya 曾说，残差连接就是旋转了 90 度的 LSTM——LSTM 在时间维度上循环，残差连接在深度维度上循环。那么既然 attention 在 Transformer 时代如此成功，能不能把 attention 也旋转 90 度，应用到深度维度？

从残差到注意力残差 标准残差 : h_l = h_(l-1) + F(h_(l-1)) # 只看上一层，固定加法 ≈ 深度维度的 LSTM 注意力残差 : h_l = Attn(h_0, h_1, …, h_(l-1)) # 聚合所有历史层 ≈ 深度维度的 Attention 工程变体 : Block Attention Residual # 每 4–16 层分为一块；块间用 attention residual，块内用标准残差 # 通信/显存开销大降，精度损失极小

十年前 Kaiming 的 ResNet 让任意深度的网络可训练；今天这个「残差连接的自然推广」再次向深度要性能——扩展定律上 token 效率提升 24%（50T 数据魔法般变成 60T+），验证 loss 全程低于原曲线，GPQA、数学、HumanEval 等编码与推理密集型基准上改进最大。

古老技术的新生命 — 开源替代方案
经典诞生Kimi 的开源替代
Adam2014MuonClip — 训练 Transformer LLM 的更好默认
Attention2017Kimi Linear — 不必每层全注意力，短长上下文双赢
ResNet 残差2015Attention Residual — 深度维度上的注意力聚合
06

方法论 · 研究范式的转变

FROM IDEAS TO RIGOROUS SCALING

为什么 2014 年的 Adam、8 年前的 Attention、10 年前的残差连接，今天仍能做出革命性改进？演讲者给出的答案是研究心态的换代。

两种研究时代
十年前现在
提出新想法，发表论文Scaling Law 指导下的大规模严格实验
缺乏算力验证，实验难以严谨有资源在不同规模上训练并对比
难以做出扎实的结论完整 benchmark 体系，结论自信而扎实

这正是开源社区的机会：把每一项改进相乘，模型会好得多。未来几年，我们将会看到越来越多、甚至更好的架构与优化器突破——尤其是在开源社区。

07 · 一句话总结 / TL;DR
用更好的优化器榨干每一份数据的智能，用更长的上下文让智能体跑得更远，用并行集群让复杂任务可解——三者相乘，再叠加原生多模态与深度注意力，就是下一代开源模型的蓝图。