一名少年研究员离职,此前曾助力重塑Kimi
17岁的研究员陈光宇曾帮助开发一种让人工智能模型在不同层之间传递信息的新方法。他于2026年10月15日宣布离开中国公司月之暗面(Moonshot AI),该公司开发了Kimi。他于2025年11月加入其研究团队,当时年仅16岁。
目录
这位深圳少年以Nathan Chen之名为国际社会所知。他离职时留下了一项具体的研究成果:与月之暗面研究员张宇、苏剑林共同作为第一作者,撰写了论文《注意力残差》(Attention Residuals),该论文于2026年3月16日发表。根据Kimi在7月发布时的相关介绍,这项技术后来成为Kimi K3的一部分。
月之暗面发表的实验结果,比围绕他年龄的关注更能准确展现这项工作的价值。在一款拥有480亿参数的Kimi Linear模型测试中,研究人员记录到所有受测任务的表现均有所提升。他们提出的区块注意力残差(Block Attention Residuals)方法,在训练损失方面也达到了传统模型使用1.25倍算力时的水平。
陈光宇离职后,Anthropic公开向他发出邀请;与此同时,有人猜测他将加入一家由前谷歌研究人员创办的初创公司,还有人试图将他与一名据称拿到五份工作邀约的匿名少年联系起来。据称,这些邀约每份价值约100万美元或更高。
不过,陈光宇已公开否认将加入Anthropic。他下一份工作的雇主、薪酬方案,以及是否会重返大学,目前都尚未得到确认。
在告别留言中,陈光宇回顾了自己在月之暗面的时光,并感谢录用他的同事。这位即将离职的机器学习研究实习生写道:
过去这一年是我人生中最美好的一年。
他的留言以继续探索的愿望作结,并未透露下一站。
陈光宇对研究的贡献
陈光宇的名字与张宇、苏剑林一同列在Kimi团队的《注意力残差》报告中,并标注为同等贡献。这一标注表示三人对一项规模更大的团队工作均作出了主导性贡献。
以旋转位置嵌入(RoPE)研究闻名的苏剑林开展了初步实验。RoPE能帮助语言模型追踪词语或其他信息在序列中的位置。张宇则是Kimi Linear架构研究的第一作者。
苏剑林曾表示,张宇和陈光宇帮助将早期的注意力残差构想转化为适用于大型模型的实用方法。两人共同提出了Block AttnRes,旨在保留该方法优势的同时,降低大规模应用时的内存和通信开销。
陈光宇还参与了Kimi Delta Attention(KDA)计算内核的加速工作。计算内核是一种在图形处理器上执行特定计算的小程序。优化内核可以让同一硬件更快地完成任务。
因此,他的工作涉及两个相互关联的领域:决定模型应如何构建,以及让支撑这种设计的计算高效运行。对于训练大型模型的实验室而言,这两方面都会影响其算力预算所能支撑的研究工作量。
注意力残差如何改变模型
语言模型通过许多连续的层来处理信息。每一层都会转换接收到的信息,逐步构建后续层用于预测答案的表征。
标准残差连接会将各层的输出相加,让先前的信息在这一过程中继续传递。月之暗面的官方研究代码库指出了这种方法的问题:随着模型加深,反复累加可能会稀释单个部分的贡献,并导致内部信号的规模不断增大。
注意力残差以一种可学习的选择机制取代固定累加。后续层可以根据当前输入,对先前生成的信息赋予不同权重。这就像读者从前几章的笔记中挑选最有用的内容,而不是把每条笔记都同等看待并一并带到后面。
如果对每个先前层都分别进行这种选择,也会带来额外开销。Block AttnRes将各层分组,在每组内部保留通常的加法操作,再从各组生成的表征中进行选择。代码库称,大约八个分组就能获得完整方法的大部分收益。
论文所述的最大规模Kimi Linear配置使用了54层,每六层为一组。九个分组加上初始词元表征,共提供10个信息来源供模型选择。这项实际工程改进,帮助研究人员将这一构想从实验推进到大型模型训练中。
已发表结果显示了什么
3月发表的论文在一款总参数量为480亿的Kimi Linear模型上测试了注意力残差,其中处理过程中激活的参数为30亿。参数是模型内部学习得到的数值设置。只激活其中一部分参数,可以让模型利用大量已学习知识,同时限制每一步所需的计算量。
训练使用了1.4万亿个词元,即模型处理的文本或其他数据片段。研究人员保持模型其他主要架构组件不变,以便将加入注意力残差后的效果与基线设计进行比较。
在用于测试高难度科学问题的GPQA-Diamond测试中,得分从36.9升至44.4,增加7.5分。用于测试代码生成能力的HumanEval得分从59.1升至62.2。衡量广泛知识的MMLU得分从73.5升至74.6。
算力对比也颇具参考价值。达到使用1.25倍算力的基线模型的水平,意味着只需使用该基线预算的五分之四,也就是减少20%的算力,就能达到相同的已报告训练损失。训练损失衡量的是模型在训练过程中所作预测与目标答案之间的差距。
月之暗面另称,这项技术为K3带来了约25%的训练效率提升,额外开销不到2%。3月实验与之后关于K3的说法涉及不同的模型设置;上文列出的详细基准测试数据来自Kimi Linear。
从学校黑客马拉松到研究团队
陈光宇2009年出生于深圳。加入月之暗面之前,他组织过青少年开源社区,开发过软件机器人,也探索过从AI安全到物理学等不同兴趣领域。
准备大学申请期间,他暂停了一些自己不喜欢的活动,开始阅读感兴趣的学科。此后,他通过自主学习、公开发表技术文章以及与在职研究人员交流,逐步走上研究之路。
2025年2月,他带着一个名为ThirdArm的项目,参加了月之暗面面向中学生举办的AI黑客马拉松。该项目设想增加一条辅助性的机械手臂。他在活动中结识了MiraclePlus创始团队成员董可涵,对方鼓励他专注于前沿科技。
之后,他发表了一篇关于DeltaNet的技术文章,研究员杨松林对此作出回应。这场讨论引起了加州帕洛阿尔托初创公司Tilde Research的Ben Keigwin注意,并促成了双方关于公司工作的交流。2025年7月,年仅16岁的陈光宇独自前往当地,开始为期七周的实习。
陈光宇的学习方法包括花数小时与Gemini讨论论文,把难懂段落的截图发给它,并继续追问。他还阅读代码、博客和研究人员的网站,并向DeepSeek研究员袁景阳请教重要选择。
他的经历不仅仅是把聊天机器人当作导师。公开写作让他的技术思路为人所见,研究人员对此作出回应,而实习则让他有机会将这些想法转化为协作成果。
快速成长背后的时间线
不到两年时间,陈光宇便从学校项目走向国际实习,继而参与发表模型研究。在注意力残差被用于Kimi的一次重要发布后,他选择离开。
- 2025年2月:陈光宇参加月之暗面面向中学生举办的AI黑客马拉松。
- 2025年7月:他开始在帕洛阿尔托的Tilde Research实习,为期七周。
- 2025年11月:他以16岁的年纪加入月之暗面Kimi团队,担任机器学习研究实习生。
- 2026年3月16日:《注意力残差》技术报告发表,陈光宇、张宇和苏剑林被列为同等贡献作者。
- 2026年6月:陈光宇高中毕业。
- 2026年7月:Kimi K3发布,注意力残差成为其架构技术之一。
- 2026年10月15日:陈光宇宣布离开月之暗面。
- 2026年10月16日:他否认了将加入Anthropic的猜测。
- 2026年10月20日:一个匿名账号称他将加入Discovery Loop。
他的公开教育经历还显示,他曾于2026年8月和9月在卡内基梅隆大学就读。这段短暂的经历也成为外界猜测他下一步是就业还是继续深造的话题之一。
Anthropic的邀请与百万美元传闻
Anthropic可扩展强化学习负责人Sholto Douglas在陈光宇的告别帖下留言。他询问陈光宇是否仍计划就读卡内基梅隆大学,并邀请他前往旧金山共事。
陈光宇回复说自己正前往湾区。当这段交流引发他已加入Anthropic的猜测时,他简短地否认道:
没有 :)
有关薪酬的讨论则另有起因。Menlo Ventures投资人Deedy Das称,他曾见过一名未透露姓名的17岁少年。这名少年借助语言模型自学AI,在一家顶尖AI公司实习了约一年,并在美国一所排名很高的本科院校就读两周后离开。
Das称,这名少年收到了旧金山多家顶尖AI实验室的五份工作邀约,每份价值约100万美元或更高。Das还转述说,这名少年更看重学习机会,而非金钱。
社交媒体用户因陈光宇的年龄和研究经历,将这一描述与他联系起来。Das没有透露这名少年的身份,陈光宇也未确认这些邀约属于自己。因此,讨论涉及的是一名匿名人士据称收到的邀约,而非陈光宇已披露的雇佣协议。
Douglas公开发出的邀请,是更为具体的兴趣信号:一位资深研究人员公开鼓励陈光宇加入自己。之后陈光宇的否认,也直接回应了有关Anthropic的猜测。
Discovery Loop为何进入讨论
10月20日,一个追踪AI行业人事变动的匿名账号Arfur Grok声称陈光宇已加入Discovery Loop,此后该公司成为讨论焦点。陈光宇尚未确认这一任职消息,该初创公司则拒绝评论人事问题。
Discovery Loop于2026年8月由前谷歌研究人员Jeff Dean、Sanjay Ghemawat、Quoc Le和Oriol Vinyals创立。该公司表示,其目标是利用AI实现科学研究和机器学习研究自动化,包括提出想法、开展实验和分析结果。
对于关注高效模型设计的研究人员来说,这一使命涉及不少熟悉的技术问题。需要运行大量研究实验的系统必须高效使用算力,而算法或计算内核的改进可以让固定预算支持更多实验。
Discovery Loop的融资情况也引人关注。据报道,该公司9月寻求融资时的估值约为500亿美元,而就在几周前,相关讨论中的估值约为100亿美元,增加了五倍。这些数字指的是融资谈判期间提出的公司估值。
陈光宇此前在Tilde Research实习,也已与湾区建立联系。他早前的实习经历有助于解释,他前往加州可能是为了接触多位业界人士,而不一定只有一个显而易见的去向。
他的离开对月之暗面意味着什么
曾支持录用16岁陈光宇的月之暗面研究员杜雨伦表示,两人曾就他的离职决定进行了多次长谈。杜雨伦对此感到惋惜,同时也支持陈光宇在这个年纪探索新的兴趣。
陈光宇的贡献仍留在团队的研究成果中。7月发布的Kimi K3参数量达2.8万亿,结合了注意力残差与Kimi Delta Attention。两者解决信息处理中的不同问题:AttnRes改变信息在模型深度方向上的流动方式,KDA则有助于高效处理序列。
月之暗面称,相较于K2,K3的扩展效率提升约2.5倍,这一成果来自架构调整、训练方法和数据选择的共同作用。由此可见,陈光宇的工作属于公司多位研究人员参与、涉及多项技术改动的更广泛努力。
这件事的现实意义不止于一名年轻员工的职业经历。学习效率更高的模型能够更充分地利用昂贵的处理器和研究预算。能够将数学设计与快速实现结合起来的研究人员,则可以直接为这一目标作出贡献。
陈光宇离开月之暗面时,已拥有发表成果和两种研究环境的工作经验,也引起了另一家顶尖实验室的公开关注。已确认的经历本身就足够引人注目:一名少年帮助将架构构想转化为可用方法,随后选择继续探索,而尚未公布下一份工作。
要点
- 陈光宇(亦称Nathan Chen)于2026年10月15日宣布离开月之暗面,当时年仅17岁。
- 他与张宇、苏剑林共同作为第一作者撰写了《注意力残差》,论文于3月16日发表。
- 月之暗面的实验显示,所有受测任务均有提升,且效果达到使用1.25倍算力的基线水平。
- 陈光宇参与开发了Block AttnRes,并参与加速Kimi Delta Attention的计算。
- 他表示自己正前往湾区,并否认将加入Anthropic的猜测。
- 有关他将加入Discovery Loop,以及他收到五份每份价值约100万美元工作邀约的说法,均尚未得到证实。






