谷歌扩充TPU产品线,推出安全AI和大内存系统,挑战英伟达

阅读约需 8 分钟
Google Expands TPU Lineup With Secure AI and Larger Memory Systems to Challenge Nvidia

两款新系统瞄准AI的下一阶段需求

谷歌扩充了第八代张量处理器(TPU)产品线,推出两款专用系统:TPU 8tx可在AI处理数据时保护敏感信息,TPU 8i Max则将两颗芯片封装在一起,以处理大得多的信息量。这两款产品于2026年11月9日发布,使谷歌在一年内推出的TPU系统增至四款,开创了公司先例。

目录
  1. 两款新系统瞄准AI的下一阶段需求
  2. 为何一年内推出四款系统
  3. TPU 8tx可在处理过程中保护信息
  4. TPU 8i Max为大型任务提供更大工作空间
  5. AI智能体带来的工作不止是生成单个答案
  6. 软件旨在降低更换硬件的难度
  7. 内存管理也成为产品的一部分
  8. 业务版图超越Google Cloud
  9. 供应和建设限制影响增长空间
  10. 要点

新系统针对企业采用AI智能体时面临的两个实际问题:保护私人数据安全,以及为软件提供足够内存,以处理整套文档、计算机代码或视频。预计这些系统将于2027年开始交付。谷歌尚未公布两款系统的交付日期或价格。

谷歌的TPU产品组合公告称,两款产品都是基于现有芯片打造的配置。TPU 8tx采用与TPU 8t相同的底层芯片,并搭配第五代AMD EPYC中央处理器。TPU 8i Max将两颗TPU 8i芯片封装在一起,使计算能力、部分板载内存和内存带宽翻倍。

TPU是一种专为执行AI所需数学运算而设计的处理器。谷歌最初为自家服务开发这类处理器,包括语音识别和翻译。如今,TPU已用于支持Gemini、外部云客户的业务以及客户数据中心的部署。

通过为特定任务提供更多选择,此次扩展加强了谷歌对英伟达的竞争。谷歌没有让一种加速器设计满足所有需求,而是围绕现有芯片搭配不同的处理器、内存、网络和安全配置。

广告

为何一年内推出四款系统

谷歌于2026年4月在Google Cloud Next大会上推出TPU 8t,用于大型训练任务;同时推出TPU 8i,以快速响应AI请求。训练是通过示例构建或调整模型的过程。推理则是使用模型生成答案或执行任务的过程。

谷歌称,与上一代产品相比,TPU 8t的训练性能最高提升2.7倍,TPU 8i的推理性价比提升80%。这些比较是相对于谷歌此前的TPU而言。最新产品将同一代产品线拓展至机密计算,以及需要大得多内存容量的任务。

谷歌首席技术专家兼AI与基础设施高级副总裁Amin Vahdat在公告中阐述了相关重点:

随着企业将自主智能体投入生产,我们打造了这两款基础系统的新配置,以解决两个迫切的新挑战:硬件级数据安全和百万令牌级上下文规模。

谷歌称,设计一款新芯片需要数年,而围绕现有芯片调整封装、内存、光网络和安全功能只需数月。模块化方案让工程师能够在全新处理器准备就绪之前,根据软件需求变化调整系统。

目前的研发和交付时间表如下:

  • 2026年4月:谷歌在Google Cloud Next大会上推出TPU 8t和TPU 8i。
  • 2026年10月:谷歌称已将TorchTPU作为开源软件发布,以支持在TPU上进行PyTorch开发。
  • 2026年11月9日:谷歌宣布推出TPU 8tx、TPU 8i Max及其他基础设施软件。
  • 2027年:新系统预计将开始交付;甲骨文计划开始向其云客户提供TPU访问权限。

TPU 8tx可在处理过程中保护信息

TPU 8tx面向政府部门和受监管企业,包括金融和医疗机构。这些客户可能需要AI分析高度敏感的记录,同时保护信息和模型内部参数。

机密计算针对的是信息被主动使用的时刻。加密已经能够保护存储在硬盘上或通过网络传输的数据。处理过程中,信息通常需要在工作内存中保持可访问状态。谷歌称,TPU 8tx新增了硬件防护措施,可在这一阶段隔离敏感数据和模型权重。

广告

系统采用AMD第五代EPYC处理器作为主机计算平台,还在PCIe连接上使用加密和身份验证机制。PCIe连接负责在主要计算机组件之间传输信息。随产品发布的技术细节显示,TPU 8tx配备216 GB高带宽内存。

谷歌还为该系统配备Boardfly网络,用于连接处理器,确保它们能快速交换信息。公司称,与TPU 8t相比,这一配置可将延迟降低最多一半,同时其安全防护带来的性能损耗接近于零。延迟指系统完成某个步骤或作出响应前的等待时间。

TPU 8tx也支持规模较小的训练任务。机构可以利用私人信息调整模型,通过名为蒸馏的过程将较大的模型压缩成较小的模型,也可以通过强化学习训练智能体,让它们利用反馈改进操作。谷歌称,这些任务可以与推理在同一系统上并行进行,减少在不同计算机集群之间传输敏感信息的需要。

TPU 8i Max为大型任务提供更大工作空间

TPU 8i Max解决的是另一种限制:处理器的计算速度可能超过内存提供所需信息的速度。谷歌将这一现象称为内存墙。增加计算能力的同时,内存容量和数据传输速度也要相应提升,才能发挥最佳效果。

该系统将两颗TPU 8i芯片封装在一起。其规格包括384 GB高带宽内存、每秒17.2 TB内存带宽,以及768 MB SRAM(一种位于芯片上的高速内存)。

谷歌称,与TPU 8i相比,该封装使计算能力、SRAM容量和高带宽内存带宽翻倍。高带宽内存容量则提升33%,也就是说,存储的信息量增幅小于信息传输速度的增幅。

该系统面向的工作负载包括整套软件代码库、长篇文档、数小时的视频,以及协同工作的智能体群组。它面向的上下文窗口规模可达百万令牌级。上下文窗口是模型处理请求时可参考的信息量;令牌则是模型处理的文本或其他内容中的小片段。

在编程任务中,更大的工作空间可让智能体在调查问题时保留更多相关文件。药物研究和数学工作也是预期用途。谷歌还称,在机架占地面积不变的情况下容纳两倍芯片,可提高每平方英尺和每瓦的计算能力。

广告

AI智能体带来的工作不止是生成单个答案

Google Cloud AI与计算基础设施副总裁兼总经理Mark Lohmeyer表示,单次智能体请求可能触发数百或数千项操作。他估计,根据任务不同,这种变化可能使计算需求增加10至1,000倍。

智能体可能会将请求拆分成多个步骤、查询数据库、编写代码、调用其他软件工具,并等待人工批准。这种工作模式需要处理器之间快速通信、持续可用的工作内存,以及对多个系统间流转信息的保护。

谷歌也在努力降低这些操作之间等待的成本。其新推出的Agent Compute Engine可自动暂停和恢复空闲的智能体会话。当智能体等待数据库响应、外部工具或人工反馈时,该引擎会释放相关资源。

实际目标是避免昂贵的处理器被没有计算任务的会话长期占用。对于同时运行大量智能体的客户,管理这些等待时间也成为控制基础设施成本的一部分。

软件旨在降低更换硬件的难度

谷歌扩充硬件产品线的同时,也在努力让TPU更易于采用。英伟达的优势部分来自开发者已经在使用的软件,因此谷歌的策略包括支持常见开发工具,并推出新处理器。

TorchTPU由谷歌与Meta及PyTorch社区合作开发,为PyTorch提供原生TPU后端。PyTorch是广泛用于构建AI模型的框架。谷歌称,现有PyTorch代码和Hugging Face模型无需重写即可在TPU上运行。其发布演示介绍了一种只需添加两行代码的基本配置方法。

谷歌的云基础设施公告还介绍了TPU对vLLM和SGLang的支持。这两种开源引擎用于提供AI模型服务。与Inferact和RadixArk的合作则支持一种更广泛的方案,让客户能够同时使用TPU和图形处理器。

全新的XLA Serving Engine让开发者能够用Python训练模型,并通过C++运行时在TPU、GPU和CPU上提供模型服务。现已开放预览的TPU智能体工具套件可连接Claude Code、Cursor和Google Antigravity等编程工具,帮助配置工作负载并识别瓶颈。

谷歌称,在针对编程智能体和大上下文任务的InferenceX与AgentX测试中,其产品展现出强劲的性价比。这些是公司的性能声明;买家在选择基础设施时,仍需比较自身应用的成本、响应速度和准确性。

广告

内存管理也成为产品的一部分

谷歌的新款TPU Sync软件不再局限于加速器上物理连接的内存。它会协调芯片内存、主机内存、共享存储和数据中心网络,让工作负载可以将它们作为更大内存系统的不同层级来使用。

一个主要目标是KV缓存,即模型已处理内容后存储的工作信息。较大的上下文窗口和大量同时运行的智能体会产生巨大的缓存。TPU Sync可在毫秒内将缓存移出芯片,从而为正在执行的任务腾出昂贵的加速器内存。

谷歌称,该软件可将KV数据传输延迟和首次响应前的等待时间降低90%以上。它还支持在不同处理阶段之间传递上下文,并在强化学习期间同步模型权重。

另外两项更新侧重于集群管理。Cloud Pathways现已通过Google Kubernetes Engine全面开放,可让单个控制器协调分布式TPU任务。GKE动态切片利用光路交换技术,根据需求变化将TPU组合成更大的集群,或拆分成较小的隔离集群。

谷歌称,动态切片可将作业启动速度提升最多5倍,将故障恢复速度提升最多4.5倍。这些工具与新硬件解决的是同一个商业问题:减少等待,更有效地将已部署的计算能力转化为实际工作。

业务版图超越Google Cloud

谷歌称,其TPU业务目前拥有近100家客户,包括AI实验室、贸易公司、零售商和大学。公司正将服务范围扩展至自有云平台之外,包括直接部署在客户数据中心。部分客户将能够在自有场所部署TPU 8tx。

甲骨文已宣布计划从2027年起向其云客户提供TPU。Anthropic拥有选购权,可在2028年至2031年间购买价值最高1,500亿美元的芯片;据报道,OpenAI也计划采购TPU。Anthropic的这一数字是相关选购权下可能达到的最高采购额。

Jump Trading展示了客户如何为不同任务选择不同硬件。该公司称,TPU可提升部分工作的能源效率并降低成本,但英伟达产品仍是其训练AI模型的主要平台。

分析师Mandeep Singh估计,TPU成本比英伟达GPU低约30%,数据处理能力则具有竞争力。一项研究预测,TPU销售额(包括相关硬件和软件)将从2026年的约120亿美元增至2028年的1,350亿美元以上;该估算不包括客户通过Google Cloud使用TPU带来的收入。

按1,350亿美元除以120亿美元计算,这一预测意味着两年内销售额将增长至2026年的11倍以上。这显示出极快的扩张速度,但能否实现取决于制造能力、客户支出和部署进度。

广告

供应和建设限制影响增长空间

谷歌在10月表示,客户已经预订了公司能够供应的全部TPU。内存短缺和制造能力受限仍是制约因素,Vahdat的团队正致力于拓展供应来源。

行业评估认为,第八代TPU系列的先进制造和系统封装属于台积电的产业生态系统。因此,TPU需求增长将为台湾供应商和谷歌创造机会,同时也使获取先进生产和封装产能成为现实挑战。

数据中心建设还面临另一项限制。Singh估计,反对新设施建设的声音可能使科技行业预计在2027年投入的1.4万亿美元基础设施支出减少约5%至7%。按该预测计算,减幅约为700亿至980亿美元。

提高计算密度有助于运营商在现有建筑内完成更多工作,因此TPU 8i Max在空间紧张的场景中具有实际价值。不过,谷歌仍需获得芯片和内存、交付系统并打造可盈利的业务。Singh估计,TPU的利润率仍低于英伟达。

如今,竞争已不再局限于峰值处理速度。谷歌正将机密计算、更大容量内存系统、常用软件和更灵活的部署方式结合起来,以争取特定工作负载。公司能否供应这些系统,将决定客户预订能多快转化为收入。

要点

  • 谷歌于2026年11月9日宣布推出TPU 8tx和TPU 8i Max,预计将于2027年开始交付。
  • TPU 8tx将现有TPU 8t芯片与AMD EPYC主机处理器及硬件防护相结合,以保护使用中的敏感数据。
  • TPU 8i Max将两颗TPU 8i芯片组合在一起,配备384 GB高带宽内存,计算能力和内存带宽均为TPU 8i的两倍。
  • 谷歌在2026年推出四款TPU系统,并称其TPU业务拥有近100家客户。
  • TorchTPU、TPU Sync及其他软件更新旨在简化开发流程并减少计算资源闲置时间。
  • 通过甲骨文提供访问权限及直接部署到客户环境,谷歌扩大了市场覆盖范围;内存、制造和建设限制则制约着业务扩张。
分享本文

猜你喜欢