据报道,Kimi K4目标参数规模达5.4万亿,计划于2027年发布

阅读约需 6 分钟
Kimi K4 Reportedly Targets 5.4 Trillion Parameters and a 2027 Launch

Moonshot下一款旗舰模型规模或将接近翻倍

据报道,Moonshot AI计划将Kimi K4的参数规模定为5.4万亿,预计于2027年第二或第三季度发布。这款拟议中的模型规模几乎是Kimi K3和K3.1 Pro的两倍。据称,这两款模型的参数量均为2.8万亿。

目录
  1. Moonshot下一款旗舰模型规模或将接近翻倍
  2. 5.4万亿参数意味着什么
  3. 据报道的发布计划如何安排
  4. K3.5为何让训练数据受到关注
  5. 当前算力充足,模型扩展将带来压力
  6. Moonshot如何提高硬件利用效率
  7. K3 Flash将瞄准速度和成本
  8. 国际比较的现状
  9. 要点

据报道,K4之前还将推出规模较小的升级版Kimi K3.5,时间可能在2027年农历新年前后。另一款速度更快的产品Kimi K3 Flash预计将在2026年底前推出,接替Kimi K2.8。

Moonshot尚未公布K4的官方参数量或发布日期。5.4万亿这一数字以及2027年4月至9月的发布窗口,来自有关其开发计划的报道。此前的估算认为,K4的参数量将在5万亿至6万亿之间。

因此,核心进展是据称Moonshot计划扩大模型规模,并拓展可供选择的产品范围。据称,该公司还在投入研发压缩、自蒸馏和后训练技术,旨在提升模型利用现有计算资源完成任务的能力。

对用户而言,这些并行推进的工作各有意义。更大的旗舰模型或许能处理要求更高的工作,而更轻量的模型则可能让日常请求响应更快、成本更低。报道中的路线图给出了规模和时间目标,但未来价格、实测性能和使用方式仍未确定。

5.4万亿参数意味着什么

参数是模型在训练过程中学习到的数值设定,影响模型识别模式和生成答案的方式。参数更多的模型具有更大的学习能力,但其实用性还取决于训练数据、模型设计和后续优化方式。

据报道,K4的参数量为5.4万亿,较K3据称的2.8万亿增加2.6万亿。按这些数字计算,增幅约为93%,K4的规模约为K3的1.93倍。

广告

K3.5在规模上的提升要小得多。据报道,其参数量为3万亿,比K3高约7%。这种差异表明,开发工作可能采取两种不同思路:先通过K3.5改进现有一代模型,再通过K4实现大幅扩容。

5.4万亿这一具体目标处于此前5万亿至6万亿的估算范围内。一种说法称,这一范围来自野村证券。较新的数字与此前估算相符,使报道中的计划有了更明确的目标,但仍有待Moonshot确认。

据报道的发布计划如何安排

据报道,Moonshot的发布计划从2026年7月推出K3,一直延伸至2027年可能发布的K4。期间推出的产品将兼顾旗舰模型的能力提升,以及市场对轻量级产品的需求。

  • 2026年1月10日:据报道,创始人杨植麟在一次公开演讲中谈及K4计划。
  • 2026年7月17日:据报道,Kimi K3正式发布,参数量为2.8万亿,上下文窗口为100万token。
  • 2026年7月下旬:据报道,K4训练准备工作启动,同时Moonshot着手争取更多算力。
  • 2026年底前:预计Kimi K3 Flash将接替Kimi K2.8。
  • 2027年初:预计推出Kimi K3.5,时间可能在农历新年前后,参数量为3万亿。
  • 2027年第二或第三季度:据报道,Kimi K4计划发布,参数量为5.4万亿。

K4预计发布窗口为2027年4月至9月。K3.5可能在农历新年前后推出的说法同样只是估算,因此两款旗舰模型发布时间之间的间隔仍不确定。

K3.5为何让训练数据受到关注

据报道,Kimi K3.5计划使用10万亿token的后训练数据。Token是模型处理的信息单位,通常是单词或单词的一部分。Token数量衡量的是处理的数据量,而不是不同文档或事实的数量。

后训练是在模型完成主要的初始训练后进行的。它可以帮助模型更好地遵循指令、改进回答,并更可靠地处理特定任务。示例、反馈和反复练习都可能发挥作用。

拟议中的10万亿token规模意味着,K3.5的看点不只是参数量小幅增加。Moonshot似乎还计划投入大量工作改善模型的行为表现,同时小幅扩大其基础规模。

广告

报道没有说明这些token的具体构成,包括其中有多少是新收集的数据、由模型生成的内容,或是重复使用的数据。这一细节很重要,因为训练示例的质量和多样性会影响模型从中学到什么。

当前算力充足,模型扩展将带来压力

据报道,Moonshot目前的算力足以支撑现有开发计划。但同一批报道也提到,进一步扩张受到限制,尤其是获取高性能硬件和大量高质量数据的能力。

这两种情况可以同时存在:一家公司可能拥有足够的设备推进已经开展的工作,但若要开发更大规模的后继模型,仍需要更多芯片、电力和配套基础设施。

据报道,K4的准备工作于2026年7月下旬启动,距离K3据称发布不到两周。据称,Moonshot还在寻求采购更多基于Blackwell架构的英伟达图形处理器。这类芯片专为执行AI训练和运行所需的大量计算而设计。

据报道,K3发布后,面向用户提供服务的算力也承受了压力。7月19日,因算力不足,Moonshot据称暂停了面向消费者的新订阅。为客户运行模型和训练后续模型都需要大量资源。

报道援引美国企业研究所研究员Ryan Fedasiuk的估算称,支撑K3服务所需的芯片及配套能源基础设施,需要数十亿美元投资。这一估算涉及大规模运行所需的资源,也是Moonshot规划更大模型时需要持续考虑的成本问题。

Moonshot如何提高硬件利用效率

据报道,Moonshot的技术重点包括模型压缩、自蒸馏和后训练。与成本更高的模型扩容相比,这些方法各自都能在提升能力或效率方面发挥作用。

压缩旨在减少模型所需资源,同时尽可能保留实用性能。根据具体方法,它可以降低内存需求、加快响应速度,或降低部署成本。

自蒸馏会将模型自身的输出或已学会的行为作为材料,进一步训练模型。简单来说,模型可以生成示例,用于优化自身的另一个版本。筛选和检查这些材料很重要,因为生成的回答可能包含错误。

广告

后训练则着重于模型如何运用自身能力。对用户而言,改进可能体现为更善于遵循指令,或更可靠地完成任务。对Moonshot而言,这类方法的吸引力在于提高实际表现,同时避免每一项提升都依赖购置大得多的计算系统。

据报道,该公司对这些方法的重视,有助于解释K3.5和K4为何各有侧重:前者侧重在相近的参数规模上进行优化,后者则追求大幅提升模型容量。

K3 Flash将瞄准速度和成本

据报道,Kimi K3 Flash计划于2026年底前发布,接替Kimi K2.8。在大型旗舰模型仍处于开发阶段之际,它将扩充Moonshot的轻量级产品阵容。

轻量级模型适用于反复处理日常工作,例如回复常规请求或处理大量简短任务。在这些场景中,等待时间和每次请求的成本,可能与模型处理难题的表现同样重要。

报道提及,Kimi K3 Flash可能面临来自DeepSeek Flash系列的竞争,包括V4.1 Flash,以及可能推出的V4.2或V5.0 Flash。但这种竞争目前仍是预期层面的:报道中的路线图尚未披露K3 Flash的参数量、定价或实测性能。

据报道,Moonshot还于2026年8月31日停止了Kimi K2.5和moonshot-v1 API服务,并引导开发者转向K3。API是软件向模型发送请求时使用的连接接口。因此,产品调整既会影响选择聊天机器人的用户,也会影响维护依赖特定模型的应用程序的开发者。

国际比较的现状

据报道,K4的规模正被拿来与Mythos和Fable比较,后两者据称拥有超过5万亿参数。若参数量达到5.4万亿,K4将进入这两款模型所处的大致规模区间。

要比较实际能力,还需要更多细节:模型在相同任务上的表现、响应速度、运行成本,以及完成工作的可靠性。模型架构也很重要,包括每次回应请求时实际调用模型的多少部分。

报道认为,Moonshot的开发计划大约比国际领先进展落后一年,并将差距归因于先进计算资源和高质量训练数据积累方面的限制。这一判断较为粗略,没有注明统一的基准测试或具体对照的发布版本。

广告

K3据称拥有100万token的上下文窗口,也是比较中的一个有用指标。上下文窗口指模型在一次交互中可处理的材料量,包括指令和文档。它与参数量反映的是不同能力,对需要处理长篇文件的用户尤为重要。

Moonshot接下来的具体节点可能是推出预计中的K3 Flash,随后在2027年初发布K3.5,并于同年晚些时候推出K4。官方规格、使用条款和可比较的性能结果,将帮助用户和开发者评估各款产品。

要点

  • 据报道,Kimi K4目标参数量为5.4万亿,计划于2027年4月至9月发布。
  • 这比K3和K3.1 Pro据称的2.8万亿参数规模大约高93%。
  • 据报道,K3.5计划于2027年初推出,参数量为3万亿,后训练数据达10万亿token。
  • 预计K3 Flash将在2026年底前推出,接替K2.8。
  • 据报道,Moonshot目前的算力足以支撑开发工作,但进一步扩张受到硬件和数据需求的限制。
  • Moonshot尚未公布K4的官方参数量或发布日期。
分享本文

猜你喜欢