三星以HBM5、AMD内存池化和更快存储扩展AI内存战略

阅读约需 8 分钟
Samsung Expands AI Memory Strategy With HBM5, AMD Memory Pooling and Faster Storage

三星将内存容量与处理速度并重

三星电子正将其AI基础设施战略拓展至高带宽内存以外,通过HBM5和定制内存,结合与AMD在共享服务器内存方面的合作,以及将部分数据处理转移至SSD的存储技术。三星在OCP Global Summit 2026上介绍了这一方案。峰会定于10月12日至15日在加利福尼亚州圣何塞的McEnery会议中心举行。

目录
  1. 三星将内存容量与处理速度并重
  2. HBM5领衔更广泛的提速战略
  3. 与AMD合作探索灵活扩展内存容量
  4. KV缓存连接内存扩展与存储
  5. SSD承担容量、散热与数据放置任务
  6. 让计算更靠近存储数据
  7. 客户测试与晶圆厂展示拓展布局
  8. 合作关系历经数月发展
  9. 市场规模并不能证明商业化已就绪
  10. 要点

最具体的性能数据涉及内存层级中的其他技术。三星表示,通过弹性分配CXL内存,AI模型生成首个词元前的等待时间最多可缩短38%;采用LPDDR5X存内处理,推理性能最高可提升至三倍;SSD顺序读取速度则可达28.4 GB/s。这些数据来自特定评估或演示,并不代表每个AI部署都能达到这些表现。

三星的峰会官方页面将其战略概括为速度、内存扩展和持久化存储。重点展示的产品包括HBM4E、LPDDR5X-PIM、CMM-D MD310内存模块、SOCAMM2服务器内存,以及PM1763和BM1773 SSD。

三星称,企业副总裁兼存储业务应用工程团队负责人沈浩俊(Hojun Shim)原定于10月12日在一场高管专题会议上介绍这三项重点。报道将这场演讲描述为一项更广泛计划的启动,旨在协同优化处理器、内存和存储,而不是分别改进各个组件。

这一点在推理阶段尤为重要,因为此时经过训练的模型会生成回答。即使加速器速度很快,也可能因等待数据而耗时;对话增长时可能出现内存不足,或在从存储中读取信息时遭遇延迟。三星针对这些不同瓶颈提出了不同技术方案。

广告

HBM5领衔更广泛的提速战略

展会相关报道将第八代高带宽内存HBM5、定制HBM和zHBM列为三星提速计划的一部分。高带宽内存通过大量并行连接向加速器提供海量数据。定制版本则旨在满足不同客户的系统需求。

官方产品清单列出的是HBM4E,而非HBM5。其他报道则称,展会上展示了HBM4E和HBM5的概念模型。这一区别很重要:展品或概念展示并不能证明产品已经出货,三星峰会页面也没有公布HBM5的商业发售日期或详细性能规格。

有关处理速度的最有力量化数据来自LPDDR5X-PIM。存内处理将部分计算置于内存设备内部,从而减少内存与独立处理器之间的反复数据传输。三星表示,其设计将处理单元集成到了每个内存组中。

在使用三星Edge AI Accelerator运行Llama 3.1 8B的评估中,三星表示,与传统LPDDR5X相比,其有效带宽最高可达八倍,每秒生成的词元数最高可达三倍,运行时间最多可缩短至原来的1/2.2。这些数据针对的是该加速器和模型,并非HBM5或与AMD合作的内存演示。

展品还包括SOCAMM2,这是一种基于LPDDR的服务器内存模块。这些展示表明,三星的提速战略既涵盖加速器内存,也包括低功耗内存技术,但峰会页面并未为每款产品提供可比较的基准测试结果。

与AMD合作探索灵活扩展内存容量

三星与AMD展示了基于三星CMM-D技术的CXL内存扩展方案。CXL是Compute Express Link(计算快速链接)的简称,用于连接处理器和其他设备与额外内存,使系统能够将容量扩展到直接安装的内存之外。

CMM-D是一种基于CXL的DRAM内存模块。在池化配置中,多个系统可以从连接的内存资源中调取容量,而不必将这些容量永久分配给单个服务器。三星表示,与AMD的合作验证了CXL可用于扩展内存容量和带宽,同时减少CPU核心等待数据的时间。

随着AI智能体运行多个模型或任务,这一问题会变得更加突出。三星官方介绍称,智能体工作负载可能大幅增加CPU使用率,而内存容量却跟不上处理器核心数量的增长。

广告

另一项CMM-D池化演示在GPU服务器上,针对多个大语言模型实例进行了弹性分配。三星表示,与静态分配相比,该方案可将首词元延迟(TTFT)最多降低38%,并将有效吞吐量提高至3.3倍。TTFT衡量响应开始前的等待时间;有效吞吐量则按评估标准衡量所完成的有效工作量。

这些结果不应被视为AMD演示本身的量化结果。官方页面分别介绍了与AMD的验证以及弹性分配基准测试,也未提供足够细节来判断换用不同模型、服务器配置或服务目标时,性能提升会如何变化。

KV缓存连接内存扩展与存储

三星内存和存储计划之间的一个关键纽带是键值缓存,通常称为KV缓存。它保存语言模型处理文本时生成的中间信息,使模型能够复用已有计算,而不必为每个新词元重新计算。

长对话、更大的上下文以及多个并发用户都可能使这些缓存占用大量内存。三星提出一种分层架构:通过CXL内存扩展可用容量,并将无需保留在最快内存层级中的缓存数据存放到SSD中。

峰会官方页面介绍了一项在三星半导体美国园区投入生产的部署,为内部AI编程智能体及其他应用提供服务。三星表示,通过其AI Memory Node解决方案增加L3.5可组合内存层后,KV缓存利用率提高了五至七倍。

L3.5是对这一额外层级的称呼,并不意味着所有服务器都采用相同的缓存架构。该部署由三星Memory Solutions Lab、DSA AI Platform Integrations团队和SGLang共同参与。缓存利用率的结果与弹性分配基准测试及LPDDR5X-PIM性能数据彼此独立。

峰会议程还安排了10月13日的一场专题会议,讨论将CXL池化与SSD存储结合用于KV缓存卸载,由系统架构师苏镇仁(Jinin So)和首席工程师崔永河(Youngha Choi)主讲。这种组合让该战略不只是扩容:它还要求软件能够在内存和存储之间放置并读取数据,同时避免引入过多延迟。

广告

SSD承担容量、散热与数据放置任务

三星的持久化存储战略以企业级SSD和大容量NAND闪存为核心。持久化是指在计算的临时工作状态结束后仍保留数据,让AI系统能够按需读取数据集、模型文件和已保存的缓存信息。

三星将PM1763定位为PCIe Gen6企业级SSD,顺序读取速度最高可达28.4 GB/s,能效最高可达前代产品的1.8倍。三星展示的液冷方案让E1.S版本与冷板直接接触以散热。官方页面没有给出性能对比的完整测试条件。

BM1773被列为一款配备256TB QLC存储的E3.S SSD。QLC即四层单元技术,每个闪存单元可存储四比特数据,从而支持更大容量。相关报道还称,三星正在继续开发大容量QLC闪存和灵活数据放置技术。

三星展示了集成到LMCache中的KV缓存优化方案。灵活数据放置(FDP)有助于规划数据写入位置,从而减少写入放大,也就是SSD实际执行的内部写入量超过主机提交的数据量。

该演示还采用更大的NVMe Maximum Data Transfer Size,以减少主机CPU的工作量。三星表示,这些技术既适用于单个节点内的缓存存储,也适用于服务器群组间共享的缓存资源。活动页面没有给出这些优化的具体性能提升数据。

让计算更靠近存储数据

三星的向量数据库演示提供了另一种减少数据搬移的方式。向量数据库存储信息的数值表示,并通过比较来查找相似项目;在AI应用检索与请求相关的文档时,这通常是一个常见步骤。

NCVS概念验证将向量距离计算移入SSD。设备不再将一个4KB向量发送到主机进行比较,而是直接返回一个4字节的距离结果。三星表示,与传统的主机处理路径相比,主机流量最高可减少至原来的1/22;随着增加SSD数量,搜索吞吐量也会提高。

4字节和4KB这两个数字分别描述单个结果和向量的大小,并不意味着整个应用的流量也会按相同比例减少。最高22倍的降幅是更广泛的实测对比结果。三星将NCVS称为概念验证,而非普遍可用的产品。

广告

三星的AiSIO演示则通过统一的软件接口,处理由GPU发起的操作、对等传输操作以及传统的CPU发起操作。三星表示,借助OpenDS,该方案可实现每秒1亿次输入/输出操作,并将冷启动时的语言模型加载速度提高至十倍。

这些指标反映的是不同任务。顺序读取速度衡量持续数据传输能力,每秒输入/输出操作次数统计存储请求数量,而冷启动加载衡量模型需要多久才能就绪。它们都不能直接替代衡量完整AI服务可处理多少用户请求的基准测试。

客户测试与晶圆厂展示拓展布局

Samsung MAX Lab旨在让客户更早参与开发。客户可以在商业化之前,针对真实AI工作负载测试PIM、CMM-D和新一代SSD等技术,并将系统需求反馈到产品设计中。

这一做法回应了贯穿峰会各项演示的实际问题:只有软件和周边硬件能够充分利用,更快的组件才有价值。三星Global Open-ecoSystem Team参与开源开发和行业标准化;活动议程还包括软件框架、存储命令处理和内存管理等专题。

三星还演示了支持实时迁移和标准NVMe虚拟SSD管理的可组合存储方案。官方介绍将其描述为一种让多个租户共享存储、同时可执行服务质量保障的方式,即能够控制每项工作负载获得的服务水平。

展会内容不止于内存。相关报道提到,采用三星晶圆代工4nm工艺制造的Groq语言处理单元晶圆、多个报道称为英伟达系统的Groq 3 LPX系统,以及采用三星2nm环绕栅极工艺的晶圆。这些展品展示了三星的制造能力,以及内存和存储产品,但并不能证明已签订新的生产合同或确定出货量。

合作关系历经数月发展

与AMD的演示并非孤立事件,而是此前合作的延续。相关报道称,双方在3月签署了一份涵盖下一代AI内存和计算技术的谅解备忘录,随后又在AMD首席执行官苏姿丰(Lisa Su)10月7日访问韩国期间进行了讨论。

据报道,相关进展和峰会议程安排如下:

  • 2026年3月:三星与AMD签署合作谅解备忘录;三星还在英伟达GTC上展示了技术。
  • 2026年6月和8月:三星分别在COMPUTEX和未来内存与存储大会上进行展示。
  • 2026年10月7日:苏姿丰访问韩国,与三星DS部门副会长全永铉讨论内存和计算合作;报道称双方还讨论了晶圆代工业务。
  • 2026年10月12日:峰会开幕,沈浩俊的高管演讲安排在当天举行。
  • 2026年10月13日至15日:三星议程包括KV缓存分层、存储优化和共享CXL内存架构等专题。

三星是钻石级赞助商。关于战略发布的日期,报道说法不一,有的标为当地时间10月12日,有的则采用公司10月13日的声明日期。这些日期可能对应同一活动的不同阶段。一篇报道将峰会地点写为旧金山,而三星官方议程注明的是圣何塞会议中心。

广告

市场规模并不能证明商业化已就绪

据报道,行业研究数据显示,2026年第二季度三星以39%的全球DRAM营收份额和29.3%的NAND闪存市场份额位居第一。DRAM数据来源为Counterpoint Research,NAND数据来源为TrendForce。这些是市场份额指标,并非新兴CXL或存内处理市场的份额。

报道援引Omdia预测称,三星当年DRAM和NAND晶圆产量将居行业首位。另有估算称,其年度DRAM产能约为817.5万片300mm晶圆当量。产能并不等于实际产量,这些数据也都无法说明有多少产能会分配给OCP展示的技术。

一篇报道还给出了10月8日公布的异常庞大的第三季度初步数据:营收195万亿韩元,营业利润107.4万亿韩元,利润同比增长782.5%。这里没有官方财报佐证这些数字,因此不应将其视为峰会相关技术带来收益的确凿证据。

竞争也已超出HBM领域。相关报道称,SK海力士的Memory-Centric AI Rack System(MARS)采用可在机架内共享的CXL内存池。这与三星让多个系统共享闲置内存的方向类似,但目前没有可比基准测试能够证明哪种方案表现更好。

三星表示,其目标是提升HBM、服务器DDR5和企业级SSD的竞争力。尚未明确的商业化细节包括HBM5的供应时间、定价、更广泛的客户采用情况,以及性能数据是否得到独立验证。峰会议程公布了演示和讨论日期,但没有为所有技术确定明确的发布时间表。

要点

  • 三星在OCP 2026展示的战略结合了更快的内存、CXL容量扩展和持久化SSD存储。
  • 三星与AMD合作采用CMM-D内存技术,应对不断增长的AI内存需求。
  • 另一项弹性池化演示显示,首词元延迟最多降低38%,有效吞吐量提高至3.3倍。
  • LPDDR5X-PIM评估结果显示,在三星Edge AI Accelerator上,推理性能最高可提升至三倍。
  • PM1763存储、KV缓存优化和SSD内计算分别针对不同的数据搬移瓶颈。
  • 峰会披露的信息尚未确定HBM5的出货日期和广泛商业供应时间。
分享本文

猜你喜欢