多模态人工智能领域迎来新的开源挑战者
百度开源了一款新的多模态模型 ERNIE 4.5 VL 28B A3B Thinking。这是一套拥有 280 亿参数的系统，可处理图像、视频、文档和文本。百度称，该模型在侧重视觉的基准测试中表现优于领先的闭源模型，同时所需资源更少。该模型采用 Apache 2.0 许可，可不受限制地用于商业用途。如果这一说法经独立测试得到验证，百度有望成为企业级视觉推理模型的重要供应商，这类模型可在易于获取的硬件上运行。
目录
ERNIE 4.5 VL 28B A3B Thinking 采用混合专家（Mixture of Experts）架构，将每项输入路由至最相关的专家网络，因此每个词元仅激活约 30 亿个参数，占总参数量的一小部分。这种选择性激活可降低计算和内存占用，同时保留更大规模模型的能力。百度称，该模型可在单张 80 GB GPU 上运行推理，并在文档理解、图表解读和复杂视觉推理方面取得出色结果。
其核心亮点是百度所称的“图像思考”（Thinking with Images）。模型在推理过程中可以放大或缩小图像，检查微小区域以寻找线索，并将局部发现与整体场景结合起来。这种行为符合人们解决视觉问题的方式，也有助于完成读取复杂技术图表、发现生产线缺陷，或定位诸如“第二颗螺栓下方的蓝色连接器”等参照物的任务。
百度还强调，该模型具备更强的视觉定位能力、在图像任务中更严格遵循指令的能力、包括图像搜索在内的工具使用能力，以及具有时间感知能力的稳健视频理解能力。模型还附带集成工具包，可与 Transformers、vLLM 和 FastDeploy 配合使用；另有名为 ERNIEKit 的训练和微调工具包。在顶尖视觉语言系统大多仍未开放的竞争激烈领域，这次发布为开发者和企业提供了一个采用商业友好许可的新选择。
模型声称具备哪些能力
百度将模型能力归纳为六个领域：视觉推理、STEM 问题求解、视觉定位、工具集成、视频理解和动态图像分析。实际应用中，这意味着系统可以读取并总结发票或财务报表、分析图表和表格、推理电路图和几何题、按要求指出图像中的精确物体或区域、调用外部工具检索参考图片，以及跟踪视频片段中的事件。
百度文档展示的排行榜称，该模型在一系列侧重视觉的测试中，表现可与 OpenAI GPT-5 High 和 Google Gemini 2.5 Pro 相当或更胜一筹。这些测试包括图表问答、文档理解和多步视觉推理基准。百度还强调了速度优势，称在准确度相近的情况下，推理速度比可比模型快两到三倍。
独立实验室尚未验证这些图表。基准测试套件往往偏重模式记忆、提示词格式，或范围狭窄的技巧，而非模型在复杂真实部署环境中的可靠性。评估 ERNIE 4.5 VL 28B A3B Thinking 的企业，在承诺用于生产环境之前，最好先用自己的文档、光照条件、摄像头角度和安全策略开展有针对性的试点。
即便有所保留，该模型覆盖的任务范围仍然广泛。推理、定位和工具使用能力相结合，使其适用于智能体式工作流程，例如读取保险业务队列中的理赔申请、标记仓库运营异常，或借助带标注的照片和短视频协助技术人员排查设备故障。
28B 模型如何在单张 80 GB GPU 上运行
关键在于混合专家架构：许多专用子网络位于一个路由器之后。对于每个词元或图像块，路由器都会选择少量专家激活。只有这些专家参与计算，因此系统在每一步的表现类似小型模型，而从多个步骤和任务的整体来看，全部专家构成的资源池又提供了更大的能力。由于任一操作中大多数参数都处于闲置状态，这种结构能提高吞吐量。
选择性激活可降低内存需求和计算成本。要以实用速度运行，拥有 280 亿参数的稠密模型需要强得多的硬件。百度通过每个词元激活约 30 亿个参数，使视觉语言模型能够在单张 GPU 上运行推理，从而让更多实验室可以进行测试。代价是系统复杂性增加。工程师需要快速且均衡的路由器、谨慎的负载均衡和稳定的训练技术，以免少数专家承担所有工作。
图像思考与精确定位
传统视觉语言模型接收固定分辨率的图像并生成文本答案。“图像思考”则增加了一个规划循环。模型将问题拆分为多个步骤，判断下一步要查看哪里，以高分辨率裁剪相应区域，读取其中的文字或测量几何关系，然后更新计划。这个循环会持续进行，直到收集到足够证据来回答问题。如果任务要求指明位置，该能力也可以反向工作，将文字描述映射回像素坐标，并绘制边框或蒙版。
图像杂乱或内容专业时，更好的定位能力尤为重要。在制造业中，两个部件可能看起来几乎一样，放大后才能分辨。在工程图中，符号的含义可能因几个像素的标注差异而改变。在医学影像中，微小伪影就可能影响诊断。能够在场景整体语境和细节之间切换，并解释操作步骤的系统，可以为操作人员提供更清晰的审计记录，也有助于纠正错误。
基准测试与真实工作负载
供应商展示的图表往往汇总了多项评测的分数。有些基准使用的是干净图像和完美裁剪，有些问题则可能已被训练集覆盖。真实部署会遇到眩光、运动模糊、特殊字体、遮挡和多语言标签。如果输入超出训练分布，性能可能大幅波动。因此，所谓在特定测试中击败 GPT-5 或 Gemini 的说法，应被视为起点，而非定论。
更可靠的做法是针对具体任务进行评估。对于文档，团队可以收集数百份有代表性的文件，并使用经人工审核的答案集测量字段提取准确率。对于视觉任务，可以模拟生产环境条件，再跟踪边框或蒙版的精确率和召回率。对于图表，可以生成包含对数刻度或堆叠序列等边缘情况的合成图表。这样能更清楚地了解模型的行为和失效模式。
训练方案与开发者工具栈
ERNIE 4.5 系列模型的训练路径结合了经典监督学习与多模态任务强化学习。文档提及了 GSPO 和 IcePop 等策略，用于稳定混合专家路由器，并改进训练过程中的奖励塑形；同时还采用动态难度采样，让模型随着能力提升接触更难的样例。由此得到的系统能够对图片、图表和视频进行多步推理规划，而不是只经过一次处理就给出猜测。
该模型系列涵盖纯文本和视觉语言版本，从非常小型的稠密模型到总参数量达数千亿的大型混合专家系统。百度称，这种架构允许不同模态共享参数，使文本和视觉组件能够相互受益，同时不损害语言质量。训练和推理在百度的 PaddlePaddle 平台上运行；团队表示，该平台在大规模场景下的硬件利用率较高。
百度为开发者提供了一套工具。ERNIEKit 支持微调、偏好优化和量化，以实现资源高效的部署。视觉语言模型可通过 Transformers 和 vLLM 等常见工具栈提供服务，生产环境中的推理则可由 FastDeploy 处理。Apache 2.0 许可消除了许多商业使用限制。官方模型页面位于 Hugging Face，代码和配置方案则发布在百度 GitHub 代码库中。
这对企业意味着什么
开放许可和单张 GPU 推理能力，对希望在本地私有运行视觉人工智能、而不将数据发送给云服务商的团队颇具吸引力。文档处理密集型行业可以尝试用它智能接收和处理合同、发票及理赔申请。制造企业可以建立质量检测工位，结合视觉和语言为一线工人提供指导。零售和物流团队可以利用定位能力查找物品并核验仓库标签。客服团队则可以通过读取内嵌图表或屏幕截图，让聊天回复更丰富。
成本很重要。许多组织无法为单个应用预留多台 H100 级别的 GPU。只需一张 80 GB 显卡即可运行的系统，降低了试点和早期部署的门槛。定位、工具使用和视频理解能力相结合，也适用于智能体式工作流程：模型可通过多个步骤进行读取、搜索、点击和推理，以完成任务。这与当前转向使用计算机的智能体的趋势相符，这类智能体操作标准界面，而非调用定制 API。
更广泛的竞争：开源模型与闭源服务
此次发布赶上了开源模型竞争激烈的一年。DeepSeek 推出了一款超大型混合专家语言模型，总参数量达数千亿，每个词元仅激活数百亿个参数，并称其在通用基准测试中取得了出色成绩，而训练成本只是闭源系统的一小部分。阿里巴巴的 Marco o1 则通过思维链微调和搜索引导规划等技术加强推理能力，以处理缺乏明确数值奖励的开放式任务。
包括百度、阿里巴巴在内的中国实验室正越来越多地以宽松许可发布高性能模型。开放访问让区域开发者能够减少对专有服务的依赖来构建产品，也促使全球服务商通过在可靠性、工具和集成方面展现明确优势，证明高价定价的合理性。在许多领域，开源与闭源模型之间的性能差距已经缩小，尤其是在图表分析和文档提取等专门任务上。
局限与未解问题
这类模型也有取舍。要获得最佳效果，视觉语言模型仍需要一张 80 GB GPU，因此许多消费级设备无法运行。上下文窗口标称为 128K 个词元，足以处理较长的 PDF，但当图像、OCR 文本和指令叠加时，容量仍然有限。混合专家路由也会增加大规模部署的复杂性，因为工程师必须监控专家负载均衡，并防范路由热点导致的延迟飙升。
安全仍是一个重要议题。图像系统可能会受到对抗性模式或虚假相关性的误导。具备主动裁剪和缩放能力的模型必须避免确认偏误，即计划不断将注意力放在错误区域。企业会希望模型处于思考模式时，能提供推理链每个步骤的清晰审计日志，或至少提供工具调用和边界框的结构化记录。百度称，该模型经过了多模态强化学习和定位对齐训练，但仍需广泛的第三方评估才能建立信任。
要点
- 百度发布了 ERNIE 4.5 VL 28B A3B Thinking，这是一款采用 Apache 2.0 许可、可用于商业用途的开源多模态模型。
- 该模型声称在侧重视觉的基准测试中胜过 GPT-5 High 和 Gemini 2.5 Pro，但仍有待独立验证。
- 模型采用混合专家架构，每个词元激活 280 亿参数中的约 30 亿个，以降低计算和内存需求。
- 模型可在单张 80 GB GPU 上运行推理，降低了试点和本地测试的门槛。
- 主要亮点包括支持缩放和检查流程的“图像思考”、更强的视觉定位能力，以及视频理解能力。
- 六项核心能力面向视觉推理、STEM 任务、定位、工具使用、视频分析和动态图像规划。
- 训练过程包括采用 GSPO 和 IcePop 的多模态强化学习，以及用于稳定混合专家架构的动态难度采样。
- 开发者工具包括 ERNIEKit、对 Transformers、vLLM 和 FastDeploy 的兼容性，以及公开的模型页面和代码库。
- 应用场景涵盖文档处理、制造业质量控制、仓库运营和客户支持。
- 局限包括需要 80 GB GPU、上下文窗口为 128K、混合专家路由复杂，以及稳健性和安全方面仍有待解答的问题。
