Aegaeon 内幕：阿里云如何削减 AI 所需 GPU 数量
阿里云表示，得益于一套名为 Aegaeon 的新系统，该公司大幅减少了大规模提供大语言模型服务所需的英伟达图形处理器数量。在其模型市场进行的生产环境测试版中，阿里云称，Aegaeon 将处理数十种模型（包括参数量最高达 720 亿的模型）所需的英伟达 H20 GPU 数量从 1,192 张降至 213 张。在服务水平相同的情况下，部署的加速器减少了 82%。相关成果在首尔举行的操作系统原理研讨会（该领域重要的计算机系统研究会议）上发布。对于云服务采购方而言，这意味着有望降低成本和能耗，更充分地利用稀缺芯片，并在同一平台调用不同模型时获得更稳定一致的体验。
目录
这项成果针对的是模型市场时代日益凸显的痛点。如今，云服务提供商同时向开发者提供数千种模型。少数模型（例如阿里巴巴的 Qwen 系列和开源模型 DeepSeek）承接了大部分流量。许多其他模型则长时间闲置，随后才短暂迎来一波请求。传统服务架构会为每个模型实例分配整张 GPU 或大块 GPU 资源。模型不活跃时，为其预留的 GPU 利用不足；请求到来而热备副本不够时，平台就必须扩容，并承担加载时间增加、吞吐量下降的代价。Aegaeon 试图通过跨多个模型池化 GPU 资源、以更细的时间片调度任务，改变这种资源分配方式，让每个加速器都保持忙碌。
阿里云将 Aegaeon 定位为一种减少浪费、服务并发大语言模型工作负载的方案。该系统将积极的多模型调度与保持内存热态、尽量缩短模型间任务切换延迟的机制结合起来。来自北京大学和阿里云的研究团队表示，这带来了更高的吞吐量、更少的排队，以及更少闲置在低利用率服务上的芯片。
Aegaeon 要解决什么问题？
现代 AI 平台面临着需求长尾问题。少数热门模型吸引了大部分推理流量。冷门模型对开发者仍然重要，但收到的调用零零散散。阿里云测算发现，其模型市场中有 17.7% 的 GPU 被分配用于处理仅占请求总量 1.35% 的服务。由于模型固定运行在专用加速器上，云服务商不得不承担闲置时间和频繁冷启动的成本，尤其是在流量模式突发或难以预测时。
从外部看，推理服务似乎很简单，但其内部机制错综复杂。大语言模型会将权重和运行时状态保存在 GPU 内存中。生成内容时，系统会维护键值缓存，用于存储已生成 token 的中间激活值。从磁盘或通过网络加载模型权重速度较慢，预热键值缓存也需要时间。传统上，将 GPU 从一个模型切换到另一个模型意味着要付出高昂的卸载和重新加载成本。这类开销不利于频繁共享，因此大多数加速器最多只会专用于一两个模型。Aegaeon 旨在更高效地管理这些转换，让 GPU 能够在多个模型间分时共享，同时避免产生过高开销。
系统如何运作
Aegaeon 是一套多模型服务架构，将 GPU 视为共享资源池，并以极细粒度决定运行哪些任务。它不在请求级别或模型副本级别进行扩缩容，而是按 token 做决策。调度器可在同一张 GPU 上交错生成不同用户、不同模型的 token，同时确保高价值数据结构随时驻留在内存中。其目标是在严格控制对响应时间影响的前提下，最大限度提高每秒的有效计算量。
按 token 自动扩缩容
核心思路是在 token 级别扩缩容量。这意味着 Aegaeon 可以开始处理一个模型的请求，并在有空余资源时，利用同一批处理和内核启动机会，择机调度另一个模型的 token。论文报告称，与每张 GPU 仅复用两到三个模型的其他资源池相比，Aegaeon 可持续承受高出 2 至 2.5 倍的请求到达速率，或将有效吞吐量提高 1.5 至 9 倍。通过在 token 粒度上运行，系统避免了启动新副本所带来的长时间停顿，并能迅速应对任一模型的流量激增。
内存复用与 KV 缓存协调
Aegaeon 通过复用组件、显式管理内存，并在模型间以细粒度同步键值缓存来降低开销。研究人员表示，与简单直接的方案相比，这使自动扩缩容开销降低了 97%。通过更智能的内存管理和缓存处理，同一张 GPU 无需不断重新加载，就能让多个模型保持就绪状态。因此，单个加速器最多可同时支持七种模型，而早期多模型系统通常只能支持两到三种。
生产环境测试版的测量结果
阿里云表示，Aegaeon 已在其模型市场进行超过三个月的测试版运行。该部署服务了数十种模型，其中包括参数量最高达 720 亿的模型。团队报告称，在此期间，为满足相同服务负载所需的 GPU 数量从 1,192 张英伟达 H20 降至 213 张，节省了 82% 的资源。该系统还将模型切换造成的延迟开销降低了 97%，这有助于应对全天热门模型与长尾模型之间交替出现的工作负载。
模型市场是一个有力的测试环境，因为其中存在真实的并发请求、各种请求规模以及范围广泛的模型。在这一环境中，Aegaeon 提高了加速器的利用率，减少了低频服务的闲置时间，并通过更细粒度的调度，保持了热门模型的响应能力。按 token 调度与谨慎复用内存相结合，似乎是提高每 GPU 小时有效工作量的关键。
来自北京大学和阿里云的研究团队认为，行业惯常做法将 GPU 分配给需求零散的模型，实际上造成了资源和资金浪费。他们在论文中直言：
Aegaeon 是首个揭示市场中并发大语言模型工作负载服务成本过高问题的研究。
这一观点与模型市场中观察到的模式相符。服务提供商早已意识到，长尾需求会占用容量，并推高所有人的成本。Aegaeon 展示了针对多模型服务优化的调度和内存设计能够减少这种浪费。
对云客户和开发者意味着什么
对客户而言，单位吞吐量所需的 GPU 更少，可能意味着价格更低、配额更充足、性能更可预测。如果云平台能用大约五分之一的加速器处理相同流量，就能为峰值时段腾出容量，并缩短新部署的等待时间。在同一应用中整合多个模型的开发者，也可能少遇到冷启动和副本频繁变动造成的瓶颈，即使流量在不同端点之间转移也是如此。
买家还应关注一些实际问题。多模型共享必须保证隔离，避免一个租户的工作负载影响另一租户的体验，或导致数据泄露。调度器必须遵守优先级和公平性规则，确保热门模型仍能快速响应，同时让响应较慢的模型也能持续推进。论文指出，Aegaeon 的 token 级调度决策会考虑服务质量目标。即便如此，随着云平台在更大规模的集群中扩大资源池化，仍需完善的可观测性和限流机制，才能控制尾延迟。
英伟达、中国与 AI 芯片背景
Aegaeon 问世之际，全球高端加速器供应紧张，针对中国先进 AI 芯片的出口管制仍在持续。英伟达为中国市场开发了 H20，以符合相关规定，许多中国服务提供商依赖该芯片进行推理。与此同时，华为、寒武纪等中国厂商也在投资开发国产替代产品。能够让每张 GPU 承载更多工作的软件效率提升，在任何市场都很有价值；而在获取最先进芯片受限的地区，这一点尤为重要。
英伟达管理层表示，受政策限制影响，公司近期财务指引假设中国先进芯片业务收入将极少或为零。在这一背景下，阿里云的成果更具意义。如果大型服务提供商能通过软件提高现有设备的利用效率，即使顶级加速器供应有限，也能继续扩展服务。
Aegaeon 与其他方案的比较
直到最近，大多数多模型服务系统在一张 GPU 上通常只能安全地复用两到三种模型，超过这一数量后，开销就会抵消收益。每增加一种模型，都会带来更多上下文切换、更多缓存未命中，以及更高的抖动风险，可能导致延迟目标无法实现。Aegaeon 的设计着眼于降低这些切换成本，并让核心数据结构能在多个模型间常驻内存，因此在论文所述条件下，单个加速器如今最多可稳定支持七种模型。
对于吞吐量要求最高的端点或隔离要求严格的工作负载，专用实例仍然合适。另一端是无服务器推理，它按需启动完整模型副本，对低流量模型可能更经济，但启动时间较长。Aegaeon 则采取折中方案：汇集容量并让模型保持就绪，再以小时间片调度任务，从而在不付出过高延迟代价的情况下提高整体利用率。
待解技术问题与后续工作
测试版运行在阿里云模型市场中，这是一个规模可观的环境，但并未覆盖全部服务场景。将 Aegaeon 推广到更多地区和不同产品线（例如企业专用集群或本地部署架构），可以检验该设计在不同约束条件下的表现。另一个问题是，随着模型上下文长度增长，以及多模态模型将语言与视觉、音频结合，调度器的表现会如何变化。这些场景将以新的方式考验内存和缓存策略。
另一个研究方向是在异构加速器之间以及不同节点之间实现资源共享。如果调度器能够通过互连网络汇集多张 GPU，而不仅仅是一张 GPU，就可能进一步提升效率，前提是互连开销保持较低，且内存放置仍可预测。目前公布的证据显示，单设备资源池化已带来显著收益，这对当下的推理工作负载而言已经是一项重大实用进展。
要点速览
- Aegaeon 将阿里云模型市场服务所需的 GPU 数量从 1,192 张英伟达 H20 降至 213 张，减少了 82%。
- 在超过三个月的测试版运行期间，该系统服务了数十种模型，包括参数量最高达 720 亿的模型。
- 据报告，在测试中，单张 GPU 最多支持七种模型，而此前的系统通常只能支持两到三种。
- 按 token 调度、内存复用和键值缓存同步将自动扩缩容开销降低了 97%。
- 实验显示，与其他方案相比，该系统可持续承受高出 2 至 2.5 倍的请求到达速率，或将有效吞吐量提高 1.5 至 9 倍。
- 该方案针对模型市场中的长尾问题：少数请求占用了大量 GPU 资源。
- 在出口管制限制中国获取先进 AI 芯片、国产 GPU 努力加速之际，这些成果受到关注。
