为何此时意义重大：开放式多模态 AI 走向主流
阿里巴巴发布了 Qwen3-Omni，这是一款可免费使用的多模态人工智能模型，能够接收文本、图像、音频和视频作为输入，并实时以文本或自然语音作答。阿里巴巴称，这是首个原生端到端全模态系统，在单一模型中整合了这四种输入类型，而不是事后再将它们拼接起来。此次发布正值市场领先系统仍由 OpenAI 和谷歌以专有形式提供之际，凸显了封闭平台与开放源码替代方案之间的鲜明对比。任何人都可以依据 Apache 2.0 许可证下载、修改并部署这款模型。
目录
其优势很直接：企业和开发者能够获得一款支持多种模态、延迟低、语言覆盖广且配备响应定制工具的模型。它的影响不止于技术基准测试。在开放且适用于企业的许可证下，用户不再受制于单一供应商，组织也可以选择在自己的基础设施上运行模型。在许多公司正努力平衡 AI 技术栈的成本、控制力和性能之际，这一点意义重大。
Qwen3-Omni 的发布紧随一波全模态模型浪潮。OpenAI 的 GPT-4o 整合了文本、图像和音频，谷歌的 Gemini 2.5 Pro 则增加了视频分析能力。这些系统仍是付费且封闭的。Qwen3-Omni 将视频理解、语音输入和语音输出整合在一个方案中，社区可以对其进行检查并在此基础上开发。此次发布也体现了中国开放式 AI 项目的崛起；这些项目在开发者平台上获得大量采用，正在重塑竞争格局。
Qwen3-Omni 是什么，以及它如何运作
Qwen3-Omni 采用名为 Thinker 和 Talker 的双组件设计，分别针对处理流程的不同阶段进行了优化。Thinker 负责多模态理解、推理和文本生成。Talker 则将获准输出的内容转换为语音，并协调语音与视觉信息。两个组件都采用混合专家架构，即将模型划分为多个专门的参数组，仅在有帮助时激活相应参数。这能让推理更快、更具扩展性，因为模型无需在每次请求中运行所有参数。
Thinker 和 Talker 的工作方式
在 Qwen3-Omni 中，Thinker 接收输入，融合文本、图像、音频和视频信号，并以文本形式生成核心答复。长上下文推理、工具调用、检索和安全过滤都可以在这一环节进行。关键在于，Talker 不必依赖 Thinker 的文本 token，而是直接依据音频和视觉特征生成内容。这一设计使系统在翻译时能够生成与原说话者的语速和重音相匹配的语音，或协调语速与屏幕上出现的内容。它还支持工作流控制，因为 Talker 将 Thinker 的输出转换为音频之前，外部模块可以先对其进行检查或调整。
在语音处理方面，Qwen3-Omni 采用多码本自回归方法来预测精简的声学 token，再通过轻量级 Code2Wav 网络将其转换为波形。这一设计在保留声音细节的同时降低了延迟。名为 Audio Transformer 的音频编码器从头开始训练，同时支持流式处理和离线使用。
专为低延迟流式处理而打造
Qwen3-Omni 面向实时对话场景。系统报告称，端到端首包延迟约为音频 234 毫秒、视频 547 毫秒。其实时因子低于 1，这意味着生成输出的速度不慢于接收输入的速度。对于语音代理、呼叫中心辅助工具、会议转录以及任何延迟会打断交流的场景，这一点都很重要。
语言覆盖范围和上下文限制
该模型支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，并可处理长时间交互。思考模式的上下文窗口为 65,536 个 token，最长推理链为 32,768 个 token。非思考模式的上下文窗口为 49,152 个 token。输入和输出上限均为 16,384 个 token。这些限制决定了模型在单次会话中可接收和生成的内容量，对于视频转录和长篇文档尤其重要。
版本与部署选项
阿里巴巴将发布三个版本的 Qwen3-Omni-30B-A3B，分别针对不同任务进行了调优。
Instruct 模型整合了 Thinker 和 Talker，可接收文本、图像、音频和视频，并以文本和语音作答。Thinking 模型专注于推理和长链思维任务，接收相同类型的输入，但只输出文本，因此适用于详细书面答复比语音更重要的场景。Captioner 模型针对音频字幕进行了微调，能够生成详细的文本描述，并着重降低幻觉率。这三个版本分别覆盖广泛的多模态交互、深度推理和专业音频理解。
Qwen3-Omni 可在本地使用，也可通过云端调用。开发者可以从官方代码库和社区平台下载模型权重，也可以通过阿里巴巴 API 调用速度更快的 Flash 版本。项目文档提供快速入门指南、适用于语音识别、翻译、音乐分析、OCR 和视听对话等任务的指南，以及 Docker 部署说明。GitHub 代码库位于此处：https://github.com/QwenLM/Qwen3-Omni。
对于试用托管 API 的团队，阿里巴巴提供跨模态免费额度，共 100 万个 token，自激活之日起 90 天内有效。通过 API 使用时，只有非思考模式支持音频输出。这些细节有助于团队规划试点项目，并估算早期试验的成本。
训练流程一览
Qwen3-Omni 经过多阶段训练，将大规模预训练与有针对性的后训练相结合。作为音频编码器的 Audio Transformer 约有 6 亿个参数，使用 2,000 万小时的监督音频进行训练。训练数据中约 80% 为中文和英语语音识别数据，10% 为其他语言的语音识别数据，另有 10% 为音频理解任务数据。该编码器同时适用于实时缓存和离线处理。
预训练分为三个阶段。第一阶段称为编码器对齐：训练视觉和音频编码器，同时冻结语言模型核心，以防模型在早期融合过程中出现感知能力退化。第二阶段称为通用训练，使用约 2 万亿个 token 的数据集，涵盖文本、音频、图像以及少量视频和视听样本。第三阶段将最大 token 长度从 8,192 扩展至 32,768，并加入更多长音频和视频内容，以增强对长序列的处理能力。
后训练同时着眼于推理能力和语音质量。Thinker 经历了监督微调、由强到弱的知识蒸馏，以及结合规则反馈和模型评审打分的 GSPO 优化。Talker 则经过四阶段训练，使用数亿条多模态语音样本，并在精选数据上持续预训练。目标是降低幻觉率、提高语音自然度。
性能与优势领域
根据阿里巴巴公布的公开基准测试结果，Qwen3-Omni 在保持文本和视觉高分的同时，在语音、音频和视频理解方面表现突出。它在许多开放榜单上领先，与封闭系统相比也取得了有竞争力的成绩。
在文本和推理方面，该模型在 AIME25 上得分 65.0，在 ZebraLogic 上得分 76.0，在 WritingBench 上得分 82.6。在语音和音频方面，它在 Wenetspeech 上的词错误率分别为 4.69 和 5.89，在 Librispeech other 上为 2.48。音乐任务表现也很强，在 GTZAN 上得分 93.0，在 RUL MuchoMusic 上得分 52.0。在图像和视觉方面，HallusionBench 得分为 59.7，MMMU pro 为 57.0，MathVision full 为 56.3。视频方面，该模型在 MLVU 上得分 75.2。如果外部评测能够复现这些结果，就说明这款模型能够兼顾传统文本任务以及先进的音频和视频理解。
有两点值得关注。第一，许多结果由公司自行报告。要全面了解模型在日常使用中的表现，还需要通过更广泛的测试套件进行独立复现。第二，将四种输入类型整合进一个模型可能带来取舍。公司材料旨在展示各模态表现相当，但一些社区评测者指出，在某些狭窄任务中，早期以文本为主的 Qwen 版本纯文本输出略强。这正是专用模型与通用模型之间常见的权衡。此次发布缩小了这一差距，同时解锁了专用模型无法匹敌的跨模态能力。
定价、额度与使用限制
Qwen3-Omni 依据 Apache 2.0 许可证开源，可在本地部署。通过阿里巴巴 API 托管访问时，费用按 token 计量。思考模式和非思考模式采用相同的单 token 价格。只有非思考模式提供音频输出。
输入费用：每 1,000 个 token
- 文本输入：0.00025 美元
- 音频输入：0.00221 美元
- 图像或视频输入：0.00046 美元
输出费用：每 1,000 个 token
- 纯文本输入时的文本输出：0.00096 美元
- 输入包含图像或音频时的文本输出：0.00178 美元
- 文本加音频输出：音频部分收费 0.00876 美元，文本免费
免费额度：跨模态共 100 万个 token，自激活之日起 90 天内有效。上下文窗口较大，思考模式为 65,536 个 token，非思考模式为 49,152 个 token。单次输入上限为 16,384 个 token，输出上限为 16,384 个 token。最长推理链为 32,768 个 token。这些上限有助于用户在生产环境中规划长媒体和文档的分块处理方式。
对企业的意义
许可证是此次发布的核心亮点之一。Apache 2.0 允许商业使用、修改和再分发，并包含专利许可，可在模型融入专有系统时降低法律风险。用户没有公开衍生作品的义务，这让需要对外保密微调版本的公司更容易采用该模型。这与由供应商控制的黑箱截然不同：在后者中，成本、速率限制和模型行为可能在用户无从申诉的情况下发生变化。
此次发布也会影响架构决策。许多组织正转向多模型技术栈，按任务混合使用开放模型和封闭模型，让速度快、体量小的模型处理日常工作，让更大型的模型负责复杂推理，并将部分工作负载保留在本地，以掌控数据。Qwen3-Omni 功能覆盖面广，有望用于语音密集型场景、多语言环境和视频内容丰富的工作流。用一个模型处理多种模态，可以减少需要训练和维护的独立系统数量。
成功部署仍然需要严谨管理。安全审查、隐私控制、评测框架和微调流程仍是基本要求。模型的开放特性让审计和优化更容易，但也意味着采用方要承担安全与合规责任。投入建设 MLOps、工具调用和防护机制的团队将能从中获得最大价值。
应用场景：从联络中心到现场服务
阿里巴巴列举了多种适合发挥该模型优势的场景。多语言转录和翻译可以与低延迟语音输出结合，用于实时对话。音频字幕可支持媒体制作和内容无障碍服务。OCR 和文档理解可用于表格、收据和示意图等图像。音乐标签和声音分析有助于管理媒体库、开发创意工具。视频理解则可用于为教程或设备操作演示建立索引、导航，并执行指令。
一个典型例子是技术支持。客户可以用手机直播视频，模型在读取屏幕文字、聆听环境音频的同时，以语音逐步提供操作指导。另一个例子是可穿戴助手，可实时翻译菜单或路标。开发者也可以通过系统提示设定语气、角色和领域边界来引导模型行为，还可以接入检索系统、计算器或第三方工具来扩展功能。
采用趋势与全球背景
早期表现显示，开发者社区对此兴趣浓厚。Qwen3-Omni 的多个变体迅速登上热门 AI 平台的模型趋势榜单前列，其他 Qwen 模型也占据了多个靠前位置。这股热潮凸显了一个更广泛的趋势：中国团队推出的开放系统正与西方老牌企业正面竞争。在市场方面，在此次发布受到高度关注的当天，阿里巴巴香港股价上涨逾 4%。
这一开放式替代方案将对封闭系统的定价和产品策略形成压力，尤其是在音频和视频使用密集的场景中。需要快速验证想法、无需经历漫长采购流程的企业，现在可以用很低的成本运行全模态模型。如果实际表现与公布的基准测试结果相符，此次发布可能加快多模态助手在联络中心、媒体制作、教育、医疗转录和工业维护等领域的普及。
要点
- Qwen3-Omni 是一款开源模型，可接收文本、图像、音频和视频，并以文本和语音作答，针对实时使用进行了优化。
- 系统采用 Thinker 和 Talker 架构及混合专家机制，以提升速度和扩展性，并配备定制的 Audio Transformer 和 Code2Wav 合成器。
- 目标延迟约为音频 234 毫秒、视频 547 毫秒，流式处理的实时因子低于 1。
- 支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，上下文窗口最长可达 65,536 个 token。
- 提供三个版本：支持完整多模态输入输出的 Instruct、用于纯文本推理的 Thinking，以及用于生成详细音频字幕的 Captioner。
- 依据 Apache 2.0 许可证开源；API 试用提供 100 万个 token 的免费额度，托管访问则按 token 计费。
- 公司公布的基准测试显示，该模型在语音、音频、视频和文本方面表现强劲，并在多个项目上达到最先进水平。
- 企业可免费部署、定制和运行多模态 AI，不受单一供应商限制，但仍需投入资源进行评测和安全治理。
- 社区采用势头迅速，Qwen 模型登上开发者平台趋势榜单，中国开放式 AI 系统也日益受到关注。
