HoYoverse公布Gamer AI:通过观察屏幕游玩《崩坏:星穹铁道》

阅读约需 7 分钟
HoYoverse unveils Gamer AI that plays Honkai: Star Rail by watching the screen

为开发者打造的AI玩家

HoYoverse旗下《崩坏:星穹铁道》AI研究团队公布了人工智能系统Gamer。它通过观察屏幕并发送键盘和鼠标指令来玩游戏。据报道,在一项持续50小时的测试中,Gamer有95%的时间能够自主操控《崩坏:星穹铁道》。它应对的挑战不只是选对行动,还包括在漫长的冒险过程中记住该做什么。

目录
  1. 为开发者打造的AI玩家
  2. Gamer如何将屏幕截图转化为行动?
  3. 教会系统记住任务内容
  4. 任务测试结果究竟衡量了什么?
  5. 谜题表现差异明显
  6. 更快决策为何需要强大硬件
  7. 目前已发布什么,还有什么尚未推出?
  8. 虚拟玩家如何帮助测试游戏
  9. 这项研究为何不止关乎《崩坏:星穹铁道》
  10. 要点

米哈游团队于2026年11月13日发布了项目页面和研究论文。演示显示,Gamer能够完成任务、与角色交谈、对抗敌人和首领、解谜,并完成五种小游戏。它接收的是屏幕截图,而非游戏内部的隐藏信息。

该系统面向开发者和研究人员。HoYoverse称,Gamer有望成为测试游戏、查找问题和减少重复开发工作的工具;长期研究方向还包括用于机器人的人工智能。据报道,性能测试使用了强大的数据中心硬件,包括英伟达H200图形处理器。

因此,对玩家来说,这项进展目前仍是一个研究项目,而不是新的自动游玩功能。对开发者而言,它的吸引力则更为具体:一个虚拟测试员可以通过与玩家相同的可见界面尝试完成任务,继而继续进行对话、探索、战斗和解谜。

Gamer如何将屏幕截图转化为行动?

Gamer是一种视觉—语言—动作模型。简单来说,它将三种能力结合起来:观察屏幕内容、理解指令,以及生成行动。论文题为《Gamer:面向长时域实时游戏智能体的通用视觉—语言—动作基础模型》。这个较长的名称说明了其核心目标:长时间操控游戏,而非只完成单个孤立动作。

该系统每秒采集五次游戏画面,并生成相当于每秒30次更新的键盘和鼠标指令。每次行动决策涵盖约200毫秒,分为六个约33毫秒的步骤。这让它能够在获取新的视觉观察之前,规划一小段连续输入。

人类玩家可能会瞥一眼目的地标记,按住移动键并调整镜头。Gamer学习的是屏幕图像与输入指令之间的类似对应关系。它可以移动角色、转动镜头、操作菜单并与物体互动,而无需依赖提供游戏内部状态的特殊界面。

广告

已公布的动作格式包含74个键位标记,并设有具体的大小写规则。无效输出会被视为不采取行动。这些规则很重要,因为即使AI系统整体推理不够完善,也必须发送软件能够可靠识别的指令。

教会系统记住任务内容

训练数据包括来自多款游戏、超过1万小时的键盘和鼠标操作记录。这些记录将屏幕上出现的内容与玩家采取的行动联系起来,帮助Gamer先掌握基本操控技能,再尝试完成更长的目标。

随后,研究人员加入了指令训练,其中包括对决策的解释和对先前活动的总结。据报道,训练材料包含约120万条推理注释和22.3万条记忆注释,为模型提供了如何选择下一步行动、保留有用信息的示例。

记忆能力对需要玩家往返多个地点的任务至关重要。系统可能需要记住已经与哪位角色交谈过、哪条路线行不通,以及哪些目标尚未完成。Gamer会生成简短摘要,以便在当前工作上下文填满后继续执行任务。

团队还采用了他们所称的稀疏推理。模型不必在每次移动前都生成冗长解释;只要计划仍然有效,就可以继续行动,只有情况发生变化时才投入更多精力进行推理。这有助于将审慎规划与游戏所需的快速输入结合起来。

任务测试结果究竟衡量了什么?

研究人员在《崩坏:星穹铁道》的两个支线任务“机会与偷窃”(第一部分)和“野性的呼唤”中评估Gamer。两项任务都包含多种活动,包括旅行、与角色交谈和战斗,测试中还加入了一个简单谜题。

在初始的持续训练阶段之后,据报告,两个任务的目标完成得分分别为34.4%和47.9%。经过强化学习后,得分升至80.0%和83.6%。第一个任务提高了45.6个百分点,第二个任务提高了35.7个百分点。

强化学习是指通过尝试并根据结果获得评分来改进系统。在此项目中,团队使用了一种名为Temporal-Aware GRPO的方法,将奖励与通过记忆关联起来的一段时间内的行动联系起来。这个问题类似于判断几分钟前的哪项决策帮助系统最终完成任务。

广告

50小时测试中95%的自主操控率,衡量的是Gamer在运行期间自行操控的时间比例;任务目标得分则衡量其针对特定目标的进展。团队还称,在自动化测试中,Gamer完成主线剧情挑战的成功率超过95%,这是范围不同的另一项指标。这些已公布的结果来自开发者,尚未有独立复现的报告。

谜题表现差异明显

Gamer的小游戏测试结果表明,出色的演示表现可能与明显的短板并存。在涵盖七种小游戏类型的40项此前未见过的任务中,经过强化学习训练的版本平均成功率为49.7%。此前的训练阶段得分为15.0%,提高了34.7个百分点。

表现最好和最差的项目相差甚远。Gamer在“导航罗盘”谜题中的得分为95.8%,在“算盘电路”中的得分为22.2%,两者相差73.6个百分点,显示其表现很大程度上取决于具体谜题类型。

演示视频展示了Gamer成功完成五种小游戏,而评估则涵盖七种类型。更广泛的测试让开发者得以更细致地了解系统能力,包括它仍然难以应对的任务。

对测试团队来说,这些差异具有实际意义。一个能够可靠完成某项挑战的智能体,在面对另一项挑战时可能仍需要更密切的监督。这些结果有助于判断自动化测试在哪些方面可以节省人力,以及在哪些方面仍需由人员仔细核查结果。

更快决策为何需要强大硬件

研究团队开发了一种名为Streaming-vLLM的推理引擎,以缩短提出决策请求到收到结果之间的延迟。推理是指经过训练的AI模型处理新信息并生成答案或行动的阶段。

据报告,在英伟达H200配置下,该引擎将端到端请求延迟从1,306毫秒降至65.12毫秒,速度约提升20倍。简单来说,延迟从约1.3秒降至约0.065秒。这一点很重要,因为AI做决定时,游戏仍在继续运行。

据报告,该配置采用了Qwen3.5-35B-A3B混合专家模型,并将计算任务分配到四台设备上。混合专家模型会针对特定任务启用其网络中的部分模块。要理解速度数据,硬件和软件配置至关重要,因为这描述的是研究环境,而非普通家用电脑上的表现。

广告

Streaming-vLLM通过减少重复计算、复用已存储信息,并在后续输出仍在生成时先发送第一个有效行动,来降低延迟。更快的决策也有助于训练:等待时间越短,系统在相同时间内就能进行越多次交互尝试。

目前已发布什么,还有什么尚未推出?

公开发布内容包括项目页面、论文,以及采用Apache-2.0许可证的GitHub代码仓库。仓库介绍了提示词、动作格式和评估结果。模型权重——运行经过训练的模型所需的已学习数值参数——并未随代码一同发布。

团队以数据安全为由,没有公开《崩坏:星穹铁道》训练数据,也没有公开使用该游戏数据训练或调整过的模型权重。公开文件涉及项目早期的通用训练研究。

Streaming-vLLM的实现目前标注为即将推出。该引擎尚未公布发布日期。加上训练后的权重尚未公开,且所需硬件要求较高,读者要想复现演示系统仍面临不小的障碍。

项目发布的时间线较短:

  • 2026年11月13日:《崩坏:星穹铁道》AI研究团队发布Gamer项目页面和论文。
  • 2026年11月16日至17日:公开报道详细介绍了其训练方法、演示和性能结果。
  • 截至相关报道发布时:推理引擎仍标注为即将推出,且未公布预定发布日期。

虚拟玩家如何帮助测试游戏

HoYoverse将游戏测试视为一项核心潜在用途。一个任务可能包含多个相互关联的步骤:接近角色、触发对话、前往另一个区域、赢得战斗并收集物品。任何一步出现问题,都可能中断玩家的进度。

Gamer的方法可以让开发者反复派遣智能体完成这些可见交互。它能够导航、读取屏幕并使用普通控制方式,可用于检查目标和菜单是否按预期运行。重复一系列操作也能帮助开发者在修复问题前重现故障。

研究团队还将无障碍辅助,以及人机交互研究列为其他可能用途。团队同时反对将Gamer用于作弊、未经授权的访问、利用安全漏洞,或损害用户利益和公平游戏。

广告

这些限制很重要,因为自动操控游戏的同一种能力可能被用于截然不同的目的。团队表示,开发目标是经授权的研究和测试;任何实际部署都将受到人工监督和游戏规则的约束。

这项研究为何不止关乎《崩坏:星穹铁道》

HoYoverse还认为,三维游戏世界可作为有用的研究环境,相关研究未来或许能为机器人技术提供参考。游戏包含连续的观察、选择和后果:智能体看到障碍物,选择路线,采取行动,再检查发生了什么变化。

Gamer将这一问题的多个环节整合到了一个系统中。屏幕观察提供感知能力,指令和摘要支持规划,键盘和鼠标输出则实现控制。跨游戏训练旨在让这些技能不只适用于单个任务或游戏。

实体机器人还要应对其他要求,包括真实传感器、运动限制和安全要求。Gamer目前的贡献,是提供一种在虚拟环境中研究持续行动与记忆能力的方法;在这类环境下,研究人员可以重复任务并衡量结果。

要全面了解该项目,最有参考价值的是综合考察各项结果:经过强化学习后,任务表现大幅增强;谜题成功率参差不齐;在昂贵硬件上,决策延迟显著降低。这些细节既说明开发者为何可能需要这样的测试员,也说明它要成为日常工具仍需进一步开发。

要点

  • HoYoverse的Gamer通过屏幕截图以及键盘和鼠标指令操控游戏。
  • 据报告,在一项50小时测试中,Gamer有95%的运行时间实现自主操控。
  • 经过强化学习后,两个支线任务的目标得分分别达到80.0%和83.6%。
  • 在40项小游戏任务中的平均成功率为49.7%,不同谜题类型之间差异显著。
  • 在据报告的H200配置中,决策延迟从1,306毫秒降至65.12毫秒。
  • 该项目面向研究和游戏测试。训练后的模型权重未随代码发布,推理引擎则标注为即将推出。
分享本文

猜你喜欢