Moonshot下一款旗舰模型规模或将接近翻倍
据报道,Moonshot AI计划将Kimi K4的参数规模定为5.4万亿,预计于2027年第二或第三季度发布。这款拟议中的模型规模几乎是Kimi K3和K3.1 Pro的两倍。据称,这两款模型的参数量均为2.8万亿。
目录
据报道,K4之前还将推出规模较小的升级版Kimi K3.5,时间可能在2027年农历新年前后。另一款速度更快的产品Kimi K3 Flash预计将在2026年底前推出,接替Kimi K2.8。
Moonshot尚未公布K4的官方参数量或发布日期。5.4万亿这一数字以及2027年4月至9月的发布窗口,来自有关其开发计划的报道。此前的估算认为,K4的参数量将在5万亿至6万亿之间。
因此,核心进展是据称Moonshot计划扩大模型规模,并拓展可供选择的产品范围。据称,该公司还在投入研发压缩、自蒸馏和后训练技术,旨在提升模型利用现有计算资源完成任务的能力。
对用户而言,这些并行推进的工作各有意义。更大的旗舰模型或许能处理要求更高的工作,而更轻量的模型则可能让日常请求响应更快、成本更低。报道中的路线图给出了规模和时间目标,但未来价格、实测性能和使用方式仍未确定。
5.4万亿参数意味着什么
参数是模型在训练过程中学习到的数值设定,影响模型识别模式和生成答案的方式。参数更多的模型具有更大的学习能力,但其实用性还取决于训练数据、模型设计和后续优化方式。
据报道,K4的参数量为5.4万亿,较K3据称的2.8万亿增加2.6万亿。按这些数字计算,增幅约为93%,K4的规模约为K3的1.93倍。
K3.5在规模上的提升要小得多。据报道,其参数量为3万亿,比K3高约7%。这种差异表明,开发工作可能采取两种不同思路:先通过K3.5改进现有一代模型,再通过K4实现大幅扩容。
5.4万亿这一具体目标处于此前5万亿至6万亿的估算范围内。一种说法称,这一范围来自野村证券。较新的数字与此前估算相符,使报道中的计划有了更明确的目标,但仍有待Moonshot确认。
据报道的发布计划如何安排
据报道,Moonshot的发布计划从2026年7月推出K3,一直延伸至2027年可能发布的K4。期间推出的产品将兼顾旗舰模型的能力提升,以及市场对轻量级产品的需求。
- 2026年1月10日:据报道,创始人杨植麟在一次公开演讲中谈及K4计划。
- 2026年7月17日:据报道,Kimi K3正式发布,参数量为2.8万亿,上下文窗口为100万token。
- 2026年7月下旬:据报道,K4训练准备工作启动,同时Moonshot着手争取更多算力。
- 2026年底前:预计Kimi K3 Flash将接替Kimi K2.8。
- 2027年初:预计推出Kimi K3.5,时间可能在农历新年前后,参数量为3万亿。
- 2027年第二或第三季度:据报道,Kimi K4计划发布,参数量为5.4万亿。
K4预计发布窗口为2027年4月至9月。K3.5可能在农历新年前后推出的说法同样只是估算,因此两款旗舰模型发布时间之间的间隔仍不确定。
K3.5为何让训练数据受到关注
据报道,Kimi K3.5计划使用10万亿token的后训练数据。Token是模型处理的信息单位,通常是单词或单词的一部分。Token数量衡量的是处理的数据量,而不是不同文档或事实的数量。
后训练是在模型完成主要的初始训练后进行的。它可以帮助模型更好地遵循指令、改进回答,并更可靠地处理特定任务。示例、反馈和反复练习都可能发挥作用。
拟议中的10万亿token规模意味着,K3.5的看点不只是参数量小幅增加。Moonshot似乎还计划投入大量工作改善模型的行为表现,同时小幅扩大其基础规模。
报道没有说明这些token的具体构成,包括其中有多少是新收集的数据、由模型生成的内容,或是重复使用的数据。这一细节很重要,因为训练示例的质量和多样性会影响模型从中学到什么。
当前算力充足,模型扩展将带来压力
据报道,Moonshot目前的算力足以支撑现有开发计划。但同一批报道也提到,进一步扩张受到限制,尤其是获取高性能硬件和大量高质量数据的能力。
这两种情况可以同时存在:一家公司可能拥有足够的设备推进已经开展的工作,但若要开发更大规模的后继模型,仍需要更多芯片、电力和配套基础设施。
据报道,K4的准备工作于2026年7月下旬启动,距离K3据称发布不到两周。据称,Moonshot还在寻求采购更多基于Blackwell架构的英伟达图形处理器。这类芯片专为执行AI训练和运行所需的大量计算而设计。
据报道,K3发布后,面向用户提供服务的算力也承受了压力。7月19日,因算力不足,Moonshot据称暂停了面向消费者的新订阅。为客户运行模型和训练后续模型都需要大量资源。
报道援引美国企业研究所研究员Ryan Fedasiuk的估算称,支撑K3服务所需的芯片及配套能源基础设施,需要数十亿美元投资。这一估算涉及大规模运行所需的资源,也是Moonshot规划更大模型时需要持续考虑的成本问题。
Moonshot如何提高硬件利用效率
据报道,Moonshot的技术重点包括模型压缩、自蒸馏和后训练。与成本更高的模型扩容相比,这些方法各自都能在提升能力或效率方面发挥作用。
压缩旨在减少模型所需资源,同时尽可能保留实用性能。根据具体方法,它可以降低内存需求、加快响应速度,或降低部署成本。
自蒸馏会将模型自身的输出或已学会的行为作为材料,进一步训练模型。简单来说,模型可以生成示例,用于优化自身的另一个版本。筛选和检查这些材料很重要,因为生成的回答可能包含错误。
后训练则着重于模型如何运用自身能力。对用户而言,改进可能体现为更善于遵循指令,或更可靠地完成任务。对Moonshot而言,这类方法的吸引力在于提高实际表现,同时避免每一项提升都依赖购置大得多的计算系统。
据报道,该公司对这些方法的重视,有助于解释K3.5和K4为何各有侧重:前者侧重在相近的参数规模上进行优化,后者则追求大幅提升模型容量。
K3 Flash将瞄准速度和成本
据报道,Kimi K3 Flash计划于2026年底前发布,接替Kimi K2.8。在大型旗舰模型仍处于开发阶段之际,它将扩充Moonshot的轻量级产品阵容。
轻量级模型适用于反复处理日常工作,例如回复常规请求或处理大量简短任务。在这些场景中,等待时间和每次请求的成本,可能与模型处理难题的表现同样重要。
报道提及,Kimi K3 Flash可能面临来自DeepSeek Flash系列的竞争,包括V4.1 Flash,以及可能推出的V4.2或V5.0 Flash。但这种竞争目前仍是预期层面的:报道中的路线图尚未披露K3 Flash的参数量、定价或实测性能。
据报道,Moonshot还于2026年8月31日停止了Kimi K2.5和moonshot-v1 API服务,并引导开发者转向K3。API是软件向模型发送请求时使用的连接接口。因此,产品调整既会影响选择聊天机器人的用户,也会影响维护依赖特定模型的应用程序的开发者。
国际比较的现状
据报道,K4的规模正被拿来与Mythos和Fable比较,后两者据称拥有超过5万亿参数。若参数量达到5.4万亿,K4将进入这两款模型所处的大致规模区间。
要比较实际能力,还需要更多细节:模型在相同任务上的表现、响应速度、运行成本,以及完成工作的可靠性。模型架构也很重要,包括每次回应请求时实际调用模型的多少部分。
报道认为,Moonshot的开发计划大约比国际领先进展落后一年,并将差距归因于先进计算资源和高质量训练数据积累方面的限制。这一判断较为粗略,没有注明统一的基准测试或具体对照的发布版本。
K3据称拥有100万token的上下文窗口,也是比较中的一个有用指标。上下文窗口指模型在一次交互中可处理的材料量,包括指令和文档。它与参数量反映的是不同能力,对需要处理长篇文件的用户尤为重要。
Moonshot接下来的具体节点可能是推出预计中的K3 Flash,随后在2027年初发布K3.5,并于同年晚些时候推出K4。官方规格、使用条款和可比较的性能结果,将帮助用户和开发者评估各款产品。
要点
- 据报道,Kimi K4目标参数量为5.4万亿,计划于2027年4月至9月发布。
- 这比K3和K3.1 Pro据称的2.8万亿参数规模大约高93%。
- 据报道,K3.5计划于2027年初推出,参数量为3万亿,后训练数据达10万亿token。
- 预计K3 Flash将在2026年底前推出,接替K2.8。
- 据报道,Moonshot目前的算力足以支撑开发工作,但进一步扩张受到硬件和数据需求的限制。
- Moonshot尚未公布K4的官方参数量或发布日期。






