小米 MiMo 在无需定制芯片的普通 GPU 上达到每秒 1,000 个 Token

阅读约需 7 分钟
小米 MiMo 在无需定制芯片的普通 GPU 上达到每秒 1,000 个 Token

人工智能领域的新速度纪录

2026年6月8日,小米发布 MiMo V2.5 Pro UltraSpeed。这是一种推理模式,可让一个万亿参数语言模型在标准云端图形处理器上达到每秒1,000多个 Token。这一成就标志着该规模的模型首次在不依赖定制芯片或专用硬件的情况下跨过这一门槛。内部演示显示,在配备八块 GPU 的单个商用节点上,持续峰值吞吐量接近每秒1,200个 Token。

目录
  1. 人工智能领域的新速度纪录
  2. 小米在人工智能领域的意外崛起
  3. 现代人工智能的速度代价
  4. 通过 FP4 量化压缩智能
  5. 借助 DFlash 投机解码并行预测
  6. 借助 TileRT 消除微秒级间隙
  7. 现实影响与商业背景
  8. 开源发布与验证问题
  9. 要点

要理解这一成就的意义,可以对比目前公开的基准数据。OpenAI 的 GPT 5.5 每秒生成约68个 Token。Claude Opus 4.6 约为每秒71个 Token,Google Gemini Flash 则达到每秒192个 Token。小米的 UltraSpeed 模式输出速度约为标准 ChatGPT 体验的15倍,而且所运行的模型在软件工程评测中的表现已可与前沿系统比肩。

实现这一速度的模型是 MiMo V2.5 Pro。这是一种拥有1.02万亿参数、采用混合专家架构的模型,上下文窗口达100万个 Token。与许多竞争产品不同,该系统可在单一模型中原生处理文本、图像、音频和视频。小米以 MIT 开源许可证发布了底层检查点,开发者无需支付许可费用即可自行托管、微调并将系统用于商业部署。

小米在人工智能领域的意外崛起

大多数消费者将小米与平价智能手机、电动滑板车,以及日益受到关注的电动汽车联系在一起。2026年第一季度,该公司出货3,380万部手机,仅5月就交付了超过3万辆电动汽车。然而,在这些消费产品背后,是一支专门的人工智能团队。自2025年4月推出一款70亿参数的小型推理模型以来,该团队一直在开发大型语言模型。

此后14个月间,MiMo 系列已发展为市面上较具竞争力的开放权重模型阵容之一。当前旗舰产品 MiMo V2.5 Pro 于2026年4月22日亮相。在软件工程任务基准测试中,它的表现接近 Claude Opus 4.6,而每个 Token 的价格约为后者的八分之一。基础模型的标准价格为:缓存命中时每百万 Token 0.025元,输入缓存未命中时每百万 Token 3元,输出每百万 Token 6元。

6月8日的公告推出了 UltraSpeed,将其作为直接叠加在现有模型之上的高性能服务模式。它没有改变模型权重或架构,速度提升完全来自推理优化。这项软件成果对商用硬件的能力边界提出了挑战。

广告

现代人工智能的速度代价

推理速度已成为大型语言模型竞争的关键战场。系统生成 Token 的速度不仅决定用户多久能收到答案,也决定哪些应用在经济和技术层面切实可行。每秒生成68个 Token 的模型适用于聊天界面,用户可以按自己的阅读速度浏览回复;但对于实时欺诈检测、高频交易信号生成,或必须在几秒内完成多轮推理的自主编程代理等对延迟敏感的任务,这样的速度完全不够。

为解决这一瓶颈,一些初创企业围绕定制芯片打造了完整业务。Cerebras 设计了一款晶圆级芯片,大小约如餐盘,片上内存达44吉字节,以消除拖慢传统 GPU 推理速度的带宽限制。该系统运行 Meta 的 Llama 3.1 405B 时,速度约为每秒969个 Token;该模型的参数量不到 MiMo V2.5 Pro 的一半。Groq 开发了定制语言处理单元架构,根据模型不同,生成速度可达每秒300至750个 Token。这两个平台都无法运行在标准云租赁服务提供的硬件上。

小米的做法则不走这场硬件军备竞赛路线。通过同步优化软件和模型设计,该公司在可租用的商用 GPU 上实现了相近速度。理论上,任何能使用标准八卡 GPU 节点的开发者都可以复现这一结果。这可能会改变竞争优势的分布,让优势从专用芯片制造商转向算法创新。

通过 FP4 量化压缩智能

UltraSpeed 的第一项核心技术是名为 FP4 量化的激进数值压缩。标准模型推理通常以16位或8位精度存储权重。每个参数都需要占用一定内存带宽;在万亿参数规模下,仅仅将权重从内存传输到处理核心,就会造成拥堵,限制生成速度。

小米的解决方案是有选择地采用4位精度。混合专家架构包含许多专家层,这些层承载了绝大部分参数,而且对降低精度的容忍度更高。小米仅将这些专家层压缩至 MXFP4 格式,同时让其他模型模块保持较高精度,据报为 FP8。这种选择性压缩可缩小内存占用而不降低输出质量,因为量化感知训练已将压缩整合进模型的学习过程。基准测试显示,量化版本的表现基本与原始全精度版本相当。

由于专家层占模型的大部分,这种选择性压缩大幅减少了每个生成步骤中需要通过内存传输的数据量。带宽节省直接转化为更高的吞吐量。

广告

借助 DFlash 投机解码并行预测

第二项核心技术针对语言生成的顺序性。通常,模型一次生成一个 Token,每个新 Token 都取决于此前所有 Token。投机解码提供了一条捷径:较小的草稿模型快速猜测接下来的多个 Token,再由较大的目标模型并行验证所有猜测。猜测正确时,系统就能节省时间。传统投机解码仍要求草稿模型按顺序生成猜测,因此收益有限。

DFlash 是研究社区提出的一种方法,经小米改进后彻底消除了这种顺序限制。草稿模型不再逐个猜测 Token,而是在一次前向传播中填充整块被掩码的位置。小米使用 Muon 二阶优化器和模型自蒸馏对这一过程进行了调优。草稿模型只使用滑动窗口注意力,确保无论对话增长到多长,每次预测的计算成本都保持不变。

在编程场景中,系统每轮验证的平均接受长度为6.3个 Token,而每个块的上限为8个。这意味着大模型在单一步骤中确认六七个 Token,而不是逐个生成。由于拒绝采样确保只有有效 Token 得以通过,输出在数学上与标准解码完全一致。速度提升不会损失质量。

借助 TileRT 消除微秒级间隙

第三项核心技术针对一种只有在极高速度下才会显现的隐形瓶颈。当推理速度超过每秒1,000个 Token 时,每个数学算子的执行时间只有数微秒。传统服务系统会依次启动算子,每次启动之间都存在短暂间隙。常规速度下,这些间隙微不足道;而在 UltraSpeed 水平下,它们会打断执行流程,成为主要瓶颈。

小米与推理合作伙伴 TileRT 共同开发的 TileRT,通过一种持续驻留在 GPU 中的持久化引擎内核解决了这一问题。该内核不再反复启动和停止操作,而是利用 Warp Specialization,将特定硬件线程分配给数据移动、计算和通信,使其协同工作。即使是 RMSNorm、旋转位置嵌入和 KV 缓存写入等通常会造成微秒级延迟的小型操作,也能不间断地执行。

该系统在设计之初就将 FP4 和 DFlash 纳入考虑,而不是事后添加这些技术。这种极致的模型与系统协同设计确保了三个层面紧密配合。小米明确表示,三种技术中的任何一种单独使用都无法达到每秒1,000个 Token;只有将它们结合执行,才能创下这一纪录。

广告

现实影响与商业背景

每秒1,000个 Token 的门槛改变了前沿级模型适用的应用范围。并行推理因此变得切实可行,系统可以在较慢模型完成一次推理所需的同等时间内,运行数十条 Best of N 或树搜索推理路径。更快的生成速度能缩短自主步骤之间的等待时间,令编程代理受益。当延迟降至人类感知阈值以下时,交易信号生成、欺诈拦截和实时对话系统中的实时决策循环也更具可行性。

小米通过公开演示展示了实际效果:一个功能完整的贪吃蛇游戏约10秒生成,macOS 界面原型约1分钟呈现。这些任务受吞吐量限制,原始 Token 生成速度是决定性能的关键因素。

UltraSpeed 将通过限量、需申请的 API 试用开放,试用期为2026年6月9日至6月23日。其价格为 MiMo V2.5 Pro 标准费率的三倍。按当前汇率计算,输入约为每百万 Token 1.29美元,输出约为每百万 Token 2.61美元。小米承诺,用户支付这一溢价后可获得约十倍的生成速度。Token Plan 订阅服务不适用于 UltraSpeed。获批用户可免费使用两周 Chat 服务,但设有每日限制:每个账户最多排队10次,每次会话上限30分钟,闲置5分钟后自动释放资源。

尽管取得了这些技术突破,金融市场反应冷淡。小米股价于6月11日收于2.91欧元,仅比52周低点高出1.75%,年初至今下跌35%。该公司仍在持续拓展业务:在发布 MiMo Code 助手的同一天于印度推出高端 17T 手机,并与长春市合作推进电动汽车业务扩张。经营势头能否扭转股价表现,将取决于即将公布的业绩数据。

广告

开源发布与验证问题

小米已在 Hugging Face 上开源 MiMo V2.5 Pro FP4 DFlash 检查点,其中包括量化权重和 DFlash 参数。TileRT 则在 GitHub 上发布了部分模块。这种透明度为社区独立测试提供了条件,而这至关重要,因为目前所有速度声明都来自小米的内部基准测试。尚无独立第三方发布验证结果。

社区复现测试将检验几个悬而未决的问题。第一,在小米受控试用环境之外的常见 GPU 实例上,每秒1,000个 Token 的数据是否依然成立。第二,在开放式对话任务中是否会出现质量下降;目前投机解码在这类任务上的接受率低于结构化编程任务。第三,TileRT 的持久化内核方案能否与已部署在生产环境中的标准服务技术栈集成。

如果独立测试证实这些说法,小米就将通过软件实现竞争对手耗费数亿美元、试图用定制芯片达成的目标。这一结果将表明,算法协同设计可以释放过去被认为需要专用硬件才能实现的性能水平,并可能改变人工智能行业的投资方向。

要点

  • 小米 MiMo V2.5 Pro UltraSpeed 于2026年6月8日发布,成为首个在标准商用 GPU 上达到每秒1,000个 Token 以上的万亿参数模型。
  • 速度提升来自三项协同技术:FP4 专家层量化、DFlash 块级投机解码,以及 TileRT GPU 持久化运行时。
  • 底层模型 MiMo V2.5 Pro 在编程任务基准测试中的表现接近 Claude Opus 4.6,而每个 Token 的价格约为后者的八分之一。
  • 与 Cerebras 和 Groq 等竞争对手不同,小米无需定制芯片,使用云服务商提供的标准八卡 GPU 节点便创下纪录。
  • MiMo V2.5 Pro FP4 DFlash 检查点已根据 MIT 开源许可证在 Hugging Face 上提供,TileRT 模块则发布在 GitHub 上。
  • 限量 API 试用期为2026年6月9日至6月23日,价格为标准费率的三倍,生成速度约为十倍。
  • 截至2026年6月中旬,尽管取得技术突破,小米股价仍接近52周低点,年初至今下跌35%。
分享本文

猜你喜欢