原生多模态模型以开源形式发布
阿里云发布了 Qwen3-Omni，这是一款多模态 AI 模型，可在一个系统中原生融合文本、图像、音频和视频。此次发布将实时助手领域的竞争推向新阶段：模型既具备广泛能力，又采用适合企业使用的开源许可证。它可接收上述四种模态的输入，并以文本或自然语音作答。用户可根据 Apache 2.0 许可证免费下载、修改并用于商业部署；该宽松许可证还包含专利授权。此举使阿里巴巴成为 OpenAI 和 Google 专有产品的有力替代选择，同时让开发者能够全面掌控模型的运行方式和部署位置。
目录
Qwen3-Omni 是不断拓展能力边界的 Qwen 系列模型中的最新成员。团队表示，新模型使用大型文本语料以及海量音频和视觉数据进行训练，并经过优化，可在实时对话中灵敏响应。该模型推出三个核心版本，分别满足常见需求。Instruct 版可处理混合输入，并以语音作答；Thinking 版侧重长上下文下的复杂推理；Captioner 版专攻音频描述，力求减少幻觉。用户可通过官方 GitHub 仓库、Hugging Face 等模型平台获取模型，也可使用托管 API 和响应更快的 Flash 服务。此次深夜发布还包括全新的 Qwen3 TTS 系统和图像编辑模型，体现了阿里巴巴围绕多模态交互打造完整技术栈的布局。
此次发布为何重要
多模态助手正从演示走向生产应用。企业希望使用一个模型实时听、看、读、推理，并以自然的语调进行回应。Qwen3-Omni 正是针对这一需求打造。它不仅开放使用，据称还在涵盖语音、音频、图像和视频的多项测试中达到业界领先水平。对于需要灵活性、成本控制和本地部署能力的客户而言，这一发布意义重大。
Qwen3-Omni 与 GPT-4o、Gemini 有何不同
竞争对手让能够看、听、说的全能模型逐渐为人熟知。OpenAI 通过 GPT-4o 将文本、图像和音频整合到同一模型中；Google 则在 Gemini 2.5 的部分产品层级中扩展了视频分析能力。Qwen3-Omni 从零开始构建，是一个端到端的统一技术栈，可处理全部四种输入类型。它支持视频理解，例如场景检测和事件追踪；可接收静态图像和文档，用于 OCR 和信息定位；也能听取语音并阅读文本。模型以文本或语音形式作答，既适合实时交互，也避免了生成图像或视频带来的复杂性。
一个关键区别在于可用性。Qwen3-Omni 采用 Apache 2.0 许可证发布，企业可以下载模型权重，在自有基础设施上运行，并针对特定行业微调模型行为，无需协商许可证。专有系统则限制自行托管，或对每次交互按 token 收费。Google 的另一个开源模型系列 Gemma 仍仅支持文本，因此覆盖不了同等范围的多模态任务。对于希望以开源模型统一处理语音、视觉和文本任务的团队而言，Qwen3-Omni 填补了这一空缺。
实时对话的响应速度
阿里巴巴公布的理论首包延迟约为音频 234 毫秒、视频 547 毫秒。这一范围符合人类对轮流交谈的响应速度预期；结合高效流式传输后，有望支持跨地域实时应用。公布的数据是在内部系统上测得，实际生产环境中的表现会因硬件、并发量和网络状况而异。即便如此，在负载下仍能将延迟控制在低于实时因子的水平，说明该模型经过了面向实际部署的优化。
架构解析
该模型采用团队称为 Thinker 和 Talker 的双组件设计。Thinker 负责多模态理解和推理：读取文本、分析像素并识别音频特征，然后规划和组织内容。Talker 专注于语音，将高层表示转换为自然语音，以流式方式回复。将这两项职责分开后，语音模块可以按自身节奏运行，同时语言模型继续向前推理。
两个组件都采用混合专家（Mixture of Experts）技术：训练多个专用子网络，并针对每个 token 只激活其中少数几个。这样无需在每一步都调用全部参数，就能提升高并发吞吐量。语音处理管线采用多码本自回归方案，将音频压缩为离散编码；轻量级 Code2Wav 卷积网络再将这些编码转换为波形。这种方法在缩短延迟的同时保留音色和韵律，使低延迟语音听起来不那么机械。
Talker 与 Thinker 的文本表示解耦，直接以音频和视觉特征为条件。这有助于语音在视听交互中与屏幕上的内容保持一致。在感知方面，音频 Transformer 编码器使用约 2000 万小时的有监督音频进行训练。预训练分阶段进行：团队先对齐编码器，再使用约 2 万亿个涵盖文本、音频、图像和视频的 token 进行训练，随后扩展上下文长度，以支持长时间会话。后训练则包括有监督微调、知识蒸馏，以及针对 Thinker 和 Talker 的优化过程。
版本、语言与上下文限制
Qwen3-Omni 以 Qwen3-Omni-30B-A3B 为基础，推出三个公开版本。Instruct 版可接收音频、视频和文本输入，并输出文本和语音。Thinking 版面向复杂推理、数学步骤和规划，输出为文本。Captioner 版针对详细音频描述进行了优化。阿里云还提供托管版 Flash 服务，旨在加快交互响应。
多语言支持是该模型的重点之一。基础模型支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，其中包括粤语等常用方言。这种配置有助于简化全球部署，让语音体验适应当地口音和文字体系。
模型支持长时间会话。Thinking 模式的上下文窗口最长为 65,536 个 token；非 Thinking 模式最长为 49,152 个 token。最大输入和输出长度均为 16,384 个 token。对于复杂推理，最长推理链可达 32,768 个 token。API 按每 1,000 个 token 计费，并针对文本、音频、图像或视频输入，以及文本或音频输出分别定价。新账户激活后 90 天内，可免费使用涵盖各模态的 100 万个 token。
基准测试及其解读
阿里巴巴公布了 36 项基准测试的结果，覆盖文本与推理、语音与音频、图像与视觉，以及视听视频任务。据该公司称，Qwen3-Omni 在 22 项测试中达到业界领先水平，并在 32 项测试中领先开源模型。团队还表示，在多项音频和视听评测中，该模型的表现优于 GPT-4o 和 Gemini 2.5 Pro。测试类别包括语音识别、音频理解、视听问答、视频描述和语音生成。在以文本为主的任务中，据称该模型的表现与 Qwen 文本模型系列相当。
基准测试可供参考，但并非性能保证。不同测试套件的覆盖范围、指令格式和评分规则各不相同。厂商会选择公布哪些指标，而不同测试运行也可能偏向某些架构或训练数据。实际部署时还会遇到嘈杂音频、各类麦克风、快速切换的场景和不同口音。团队应使用自己的样本进行评估，在高压条件下测试幻觉问题，并衡量成本与吞吐量之间的关系。尽管如此，公布结果涵盖的任务范围广泛，表明该模型从训练之初就将多模态能力视为核心目标，而非后期通过适配器补充。
在官方文档中，Qwen 团队将 Qwen3-Omni 描述为一款原生多语言模型，可处理文本、图像、音频和视频，并以流式方式返回文本和语音响应。该设计旨在让语言模型规划后续步骤的同时，保持语音自然流畅。
开发者现在可以构建什么
代码仓库和演示项目提供了适用于常见任务的示例，无需大量定制即可取得良好效果。团队可以从简单示例入手，随着信心增强，再逐步扩展为生产级功能。
常见应用场景
以下场景与模型在感知、推理和语音方面的优势高度契合：
- 用于实时通话、会议和媒体内容的多语言语音识别。
- 在常用语言组合之间进行语音翻译，并以语音回复。
- 为环境音效撰写描述，并为音乐添加标签。
- 对文档和截图进行 OCR，并提供可定位到具体区域的答案。
- 回答有关复杂图表或仪表盘的问题。
- 生成视频描述和精彩片段，并检测事件，方便浏览长视频。
- 用于培训、支持和操作指导内容的视听问答。
- 能够听、看并逐步讲解解决方案的实时技术支持。
- 调用外部工具和 API 来完成任务的类智能体工作流。
可通过系统提示设定模型的角色、语气和输出格式。模型支持实时流式传输，因此可以在继续推理的同时给出部分答案。这种交互方式更适合语音助手：相比长时间沉默，短暂停顿和快速澄清更自然。对于敏感场景，建议构建安全防护体系，包括强化提示词、设置文本和音频内容过滤器，以及能够记录上下文和决策的策略引擎。
企业部署的成本考量与许可
采用 Apache 2.0 许可证发布意义重大。该许可证允许商业使用、分发、修改和再许可，还包含专利授权，可降低将模型集成到产品中的法律风险。企业可以在私有集群或可信云上运行 Qwen3-Omni，针对自己的数据进行调优，并发布软件，而无需向厂商支付使用费。这种组合既避免了厂商锁定，也降低了团队尝试使用模型的门槛。
阿里巴巴表示，Qwen 系列周边生态正在不断壮大。该公司称，自首批 Qwen 检查点发布以来，已推出数百款模型，累计下载量达数亿次。开发者已在公共平台发布数万个衍生模型，缩短了从原型到生产部署的时间。对于受监管行业而言，自行托管多模态技术栈有助于满足数据驻留和审计要求，同时让推理成本更可预测。
成本与运维
运行多模态模型需要周密规划。GPU 显存、音视频存储带宽，以及流式传输所需的高速网络，都会影响响应速度。按 token 计费的 API 可简化早期开发，同时让基础设施团队有时间规划集群规模。100 万 token 的 90 天免费额度足以验证可行性、优化提示词，并使用内部数据评估质量。随着工作负载扩大，企业通常会混合使用多种模型：由开源模型处理大多数日常任务，再由专有 API 应对边缘情况或专业功能。这种做法既能降低开支，也能保持灵活性。
风险与负责任的部署
强大的音视频理解能力可以支持令人瞩目的产品，但也带来滥用风险。语音合成可能模仿某种说话风格，即使模型默认不会生成特定目标人物的声音。能够观察和聆听用户的实时智能体需要清晰的授权流程、安全的存储机制和数据删除政策。法务团队应审查数据在设备端采集、服务器处理和日志记录之间的流转方式，并依据相关法规设定保留期限。
企业应对模型进行压力测试，检查幻觉、偏见和不安全内容。在嘈杂环境中，音频描述可能误解声音；视频描述可能遗漏镜头切换前后的上下文；长上下文也可能导致指令理解偏移。完善的评估计划应包括对抗性提示、不同口音和方言覆盖，以及针对安全边界的红队测试。允许终端用户反馈问题的闭环机制，有助于改进模型，同时确保部署过程可问责。
如何开始
开发者可以从 Qwen3-Omni 官方 GitHub 仓库获取模型权重和示例。快速入门指南介绍了如何使用 Transformers、vLLM 等常用库运行模型。开发者也可使用 Docker 镜像和网页界面演示快速试用。希望先体验流式语音、暂不投入基础设施的团队，可以通过阿里巴巴 API 使用托管服务。各模型平台还提供可直接使用的检查点，以及有关微调和评估的社区指南。
要点
- 阿里巴巴以 Apache 2.0 许可证发布开源模型 Qwen3-Omni，并附带专利授权，支持免费商用和再分发。
- 模型可接收文本、图像、音频和视频，并通过实时流式传输以文本或自然语音作答。
- 模型推出三个版本：用于多模态交互的 Instruct、用于复杂推理的 Thinking，以及用于音频描述的 Captioner。
- 据称音频延迟约为 234 毫秒，视频延迟约为 547 毫秒，旨在支持自然的轮流对话。
- 模型支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，包括粤语。
- 在 36 项测试中，阿里巴巴称模型有 22 项达到业界领先水平，并在 32 项测试中领先开源模型；音频和视频任务表现突出。
- Thinking 模式的上下文窗口最长为 65,536 个 token，最大输入或输出长度为 16,384 个 token。
- API 提供 90 天内免费使用 100 万个 token 的额度，并按每 1,000 个 token 计费，涵盖多种模态。
- 应用场景包括转录、翻译、OCR、音乐标签、视频理解和实时助手。
- 企业可以自行托管、微调并集成 Qwen3-Omni，同时落实安全、隐私和合规防护措施。
