不增加 GPU，也能处理更多 AI 请求
三星电子开发了一种方法，通过调整内存分配方式以及处理器之间的数据传输方式，来处理更多同时发往人工智能服务器的请求。一份已公开的专利申请介绍了一款软件：它会权衡等待时间、传输成本和未来的内存需求，以决定大型语言模型应优先处理哪些请求。
目录
此举旨在减少图形处理器（GPU）内存占满时造成的延迟，让现有服务器能够为更多用户提供服务。三星将这项发明描述为 AI 推理基础设施技术。AI 推理是指运行已训练好的模型来回答问题，而非某款特定消费产品的功能。
三星的相关研究具体展示了内存管理优化可能带来的收益。在一项独立的存储实验中，三星使用 8 块 NVIDIA H100 NVL GPU 和 10 块三星固态硬盘，在同时有多达 240 名用户在线时，将首个输出词元的等待时间控制在 1 秒以内。未采用存储卸载时，用户数超过 140 人后，等待时间便开始增加。
这项专利、存储实验以及三星 SDS 的另一项研究，针对的是同一个问题的不同方面：昂贵的 AI 处理器可能花费过多时间传输或重建信息。对于运营商而言，减少这类工作意味着现有设备可以生成更多回答，并降低每个词元的成本。词元是语言模型处理和生成的文本小单元。
内存为何会拖慢回答
GPU 可以同时执行大量计算，因此适合生成 AI 回答。但其高速本地内存容量有限。多个对话会争用这部分空间，尤其是在用户提交长文档或提出需要长篇回答的问题时。
语言模型会将先前计算的临时记录保存在一种称为键值缓存的结构中，通常简称 KV 缓存。可以把它想成工作笔记：保留这些笔记，模型就能接着生成回答，而不必反复计算已经处理过的内容。
三星的存储实验中，每个会话需要约 3 GB 的 KV 缓存。240 个会话合计约为 720 GB 缓存数据。这个数字有助于解释，为何即使服务器配备了大量计算能力，同时服务许多用户仍可能受内存限制。
GPU 高速内存不足时，服务器可以将部分数据转移到与中央处理器（CPU）关联的内存中，并在需要时再调回。这些传输需要时间。重建已丢弃的计算结果也会消耗资源。三星的专利着眼于更精细地管理这些资源之间的竞争。
专利调度方法如何运作
三星的专利申请题为《处理大型语言模型多个用户请求的方法和服务器》，介绍了一种会考虑每个请求服务成本的调度器。其输入因素包括用户已等待的时间、数据传输所需时间以及请求需要的内存容量。
服务器会根据这些计算结果选择处理顺序。这一点很重要，因为看似可以立即处理的请求，可能需要先进行大量数据传输；另一个请求则可能可以直接使用附近已有的数据。协调这些选择有助于减少重新安排内存所耗费的时间。
该方法还会检查先前移至 CPU 内存的信息是否仍保留在那里。如果存在可用副本，服务器就只需传输必要部分，而不必再次复制全部数据。它还可以在 GPU 为一名用户生成回答的同时，为另一名用户传输数据，让有用的计算与准备工作并行进行。
三星还介绍了如何利用部分可用内存。如果新请求需要 5 个单位的空间，但当前只有 3 个单位可用，系统可以先处理能够容纳的部分，而不必等到 5 个单位全部空出。实际目标是在繁忙时段保持有限资源得到有效利用。三星尚未披露这项专利方法的商业部署细节，以及实测响应时间和吞吐量提升数据。
三星测得的存储卸载效果
三星电子的KV 缓存白皮书研究了另一种方案：将可重复利用的缓存数据保存在 NVMe 固态硬盘上。NVMe 是一种技术，可让存储设备通过 PCIe 连接与计算机高速通信。
测试使用了 8 块 NVIDIA H100 NVL GPU、8 个并行运行的 LLaMA-3.1 8B 推理服务、vLLM 服务软件，以及开源层 LMCache。LMCache 用于管理可重复利用的 KV 缓存数据。10 块三星 PM1753 硬盘组成了 RAID-0 阵列，通过将数据分散到多块硬盘上来提升传输性能。
三星以每次增加 20 人的幅度测试用户负载，同时用户数最高达到 280 人。每名用户每 20 秒提交一次查询，形成每秒 1 至 14 次查询的工作负载。因此，该实验测试的是一种明确设定的重复请求和缓存传输模式。
当会话在不同 GPU 之间转移时，存储方案就能发挥作用。目标 GPU 可以重新载入已保存的计算结果，无需重复处理长提示词的初始内容。在同一台机器内，外部缓存可以存放在 CPU 内存或存储设备中。三星指出，在多台机器之间使用时，缓存需要由相关服务器均可访问的共享资源来提供。
更快开始生成，输出更多文本
三星测量了两项服务性能指标：首词元延迟和每秒词元数。前者衡量用户需要等待多久才能看到回答开始出现；后者衡量系统单位时间内生成的文本量。
启用存储卸载后，测试中同时有多达 240 名用户在线时，首词元延迟仍低于 1 秒；而未启用卸载时，超过 140 名用户后延迟便开始上升。三星称，在延迟相当的情况下，该方案可支持的用户数是原来的 1.7 倍。在 20 至 140 名用户的范围内，启用卸载的配置将初始等待时间维持在约半秒。
用户数达到 240 人时，启用卸载的系统生成的输出词元约为未启用时的 1.5 倍。未启用卸载的配置在约 160 名用户时开始趋于饱和，而重复利用已保存缓存的系统则能随着需求增长持续提高输出量。
三星将这一提升归因于减少了重复处理提示词的工作。语言模型先处理输入，这一阶段称为预填充；随后逐个生成回答词元，这一阶段称为解码。重复利用已保存的计算结果，可以为 GPU 腾出更多能力来生成回答。
何时增加存储才划算
三星的成本分析显示，即使额外硬件能在高负载下提升效率，它也有相应成本。在同时在线人数为 0 至 160 人时，两种配置的词元吞吐量相近；由于增加了 NVMe 组件，启用卸载的配置成本约高 4%。
用户数超过 180 人后，增加的输出量抵消了额外存储成本。用户数达到 240 人时，三星测算出成本效益约提升 1.5 倍。该指标以三年运行期间每美元每秒生成的词元数衡量。
换一种说法，按这一算法，单位产出的成本约降低三分之一，相当于每美元产出提高 1.5 倍。这项比较针对的是三星测试的设备和工作负载。服务的实际经济效益还取决于所用模型、对话长度、流量和设备成本。
因此，对于云服务运营商而言，实际选择取决于需求。如果现有 GPU 容量能够轻松应对工作负载，额外存储会增加初始投入；如果长期处于拥堵状态，重复利用缓存则能让同一套 GPU 设备在需要增加服务器前支持更多业务。
节电效益也体现在散热风扇上
三星还测量了存储实验中的用电量。用户数达到 240 人时，每瓦性能约提升 2.9 倍。与未启用卸载的配置相比，系统总功耗降至约 53%，即降低约 47%。
白皮书称，额外的 NVMe 硬盘使功耗增加了约 6%。但 GPU 和散热系统负载的降低带来的节能效益更大。随着工作负载减少了重复执行高强度预填充计算，三星测得 GPU 利用率约为 49%。
散热风扇也反映出这一变化。未启用卸载时，系统的所有风扇都以预计最高转速每分钟 15,000 转运行。启用卸载后，CPU、内存和存储设备一侧的风扇转速约为每分钟 7,800 转，GPU 一侧的风扇则约为每分钟 9,800 转。
这一结果说明，某个组件可能会增加局部耗电量，却同时降低整台服务器的能耗。在这项实验中，调取已保存计算结果所消耗的电力，减少了重复计算以及散除随之产生热量所带来的更大能耗。
存储必须应对突发负载
三星的测量结果还表明，这种方案不能只依靠闲置的硬盘容量。存储总吞吐量平均值最高达到每秒 37 GB，而多个 GPU 同时发出请求时，峰值需求可能接近平均值的两倍。
在途存储操作通常约为 160 个，但可能瞬间升至 800 个。三星建议存储带宽至少达到平均需求的两倍，以应对突发负载并保持响应能力。
PM1753 的标称顺序吞吐量最高为每秒 14.5 GB，随机读取操作每秒最高可达 330 万次。在测试工作负载中，读取约占存储活动的 92%，写入占 8%。LMCache 传输的缓存块较大，每块约 33 MB。
多个服务同时读取大块数据，可能形成交错的请求流。因此，当许多用户同时活跃时，存储子系统仍需维持传输性能。缓存容量、传输速度和调度方式都会影响已保存的信息能否及时送达 GPU 并发挥作用。
三星 SDS 将计算带入内存
三星 SDS 通过另一条路径来应对数据传输问题。其PAISE 研究介绍阐述了内存加速推理调度引擎（PAISE），该研究成果于 IEEE HPCA 2025 上展示。PAISE 使用内存内处理（PIM）技术，将计算单元置于内存芯片内部，使部分计算能够在数据存储的位置完成。
三星 SDS 在三星 Aquabolt-XL PIM 硬件上实现并验证了该系统，并对 GPT-2、OPT 和 Llama2 模型进行了评估。该公司称，推理速度最高提升 48.3%，功耗降低约 11.5%。
PAISE 会判断哪些操作适合在内存中运行，并安排数据以适应硬件。它还会将较小的注意力计算分组，以便更高效地并行处理。三星 SDS 称，该系统能够加快 KV 缓存更新，且在更大的批次规模下效果更显著。批次是指一组同时处理的请求。
这三个项目作用于服务器的不同环节：专利方案调度 GPU 与 CPU 内存之间的请求和数据传输；存储实验将缓存保存在硬盘上，以便日后重复利用；PAISE 则把选定的计算转移到内存硬件中。它们共同展现了三星正在探索多种途径，以减少传输或重建 AI 回答所依赖的信息所耗费的时间和能源。
要点
- 三星已公开的专利申请提出根据等待时间、传输成本和预期内存需求来调度 AI 请求。
- 该专利方法旨在利用现有 GPU 服务更多用户；商业性能数据尚未披露。
- 三星一项独立存储测试在首个回答等待时间低于 1 秒的情况下支持了 240 名用户同时在线；未启用卸载时，超过 140 名用户后延迟便开始上升。
- 用户数达到 240 人时，存储卸载使词元输出量和成本效益均提升约 1.5 倍，每瓦性能则提升 2.9 倍。
- 在较轻负载下，增加存储使成本上升约 4%，因此需求状况是成本效益计算中的重要因素。
- 三星 SDS 称，其独立开发的 PAISE 系统通过在内存中进行计算，使推理速度最高提升 48.3%。
