原生多模态挑战者开放源代码
阿里巴巴发布了 Qwen3-Omni。这是一款原生多模态人工智能模型，可接收文本、图像、音频和视频输入，并以文本或合成语音作答。该模型依据 Apache 2.0 许可证开源，允许商业使用、修改和再分发，并提供专利授权。其广泛的能力与宽松的许可相结合，使 Qwen3-Omni 能够直接与美国领先的闭源系统竞争，同时降低初创公司、研究人员和大型企业的采用门槛。
目录
Qwen3-Omni 顺应了行业转向全模态模型的趋势。这类系统旨在实时理解并处理多种模态。阿里巴巴表示，与在文本模型上附加语音或视觉模块的技术栈不同，Qwen3-Omni 从设计之初就是端到端多模态系统。它在思考过程中直接处理音频和视频，并通过专用语音模块生成语音，因此无需等待整个文件处理完毕，就能保持对话节奏、语气和上下文连贯性。
首批发布版本以一个 300 亿参数系列为核心，采用混合专家（Mixture of Experts）架构，以保持推理速度并实现规模化。阿里巴巴报告称，音频首包延迟低至 234 毫秒，视频为 547 毫秒；即便在并发场景下，实时因子（RTF）仍低于 1。该系统支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，为多语言助手、呼叫中心和实时翻译应用打开了大门。
此次发布正值阿里巴巴将云业务定位为全栈 AI 服务商之际，中国开源模型也正在开发者平台上迅速走红。短短几天内，Qwen3-Omni 的多个变体便登上 Hugging Face 趋势榜前列，反映出全球社区的浓厚兴趣。阿里巴巴还提供了速度更快的 API 版本，并托管模型权重，供用户直接下载和本地部署。
Qwen3-Omni 的不同之处
Qwen3-Omni 的设计目标是并行思考与说话。Thinker 组件负责多模态推理，Talker 组件则直接以音频和视觉特征为条件，将 Thinker 的输出转化为自然语音。这种分工让开发者能够在开口输出之前，于 Thinker 阶段加入检索、安全检查或业务逻辑，适用于受监管的工作流程。
Thinker 与 Talker
Thinker 是一个大型语言模型，使用约 2 万亿个 token，通过文本、语音、图像和视频数据训练而成。它采用混合专家路由机制，因此每个 token 只会激活一小部分参数，从而降低计算成本并提高吞吐量。Talker 是一个轻量级语音生成器，采用多码本自回归方案保留音色和韵律，并通过精简的 Code2Wav 网络快速生成音频。
实时流式处理与缓存
延迟对对话体验至关重要。阿里巴巴报告称，音频场景下大约四分之一秒即可听到首个 token；视频场景下约需半秒。音频处理栈采用了全新的 Audio Transformer 编码器，该编码器使用 2000 万小时的监督音频进行训练，其中以中文和英文的自动语音识别（ASR）数据为主，其他语言则有全球范围的数据覆盖。该编码器既支持实时通话中的在线缓存，也支持批量任务的离线编码。
语言与长上下文
开发者可以输入较长的提示词和转录文本。思考模式（Thinking Mode）支持最长 65,536 个 token 的上下文，推理链最长可达 32,768 个 token；非思考模式（Non Thinking Mode）最多支持 49,152 个 token。模型最多可接收 16,384 个 token 的输入，并以文本形式生成最多 16,384 个 token 的输出。目前，语音系统支持 10 种输出语言，足以满足客户支持和现场服务领域全球试点项目的实际需求。
模型、模式与定价
阿里巴巴发布了 30B 系列的三个变体，供团队根据不同需求进行选择。Instruct 模型结合完整的 Thinker 和 Talker 技术栈，可接收音频、视频和文本输入，并生成文本和语音。Thinking 模型专注于复杂推理和长思维链，采用相同的多模态输入，但只输出文本，适用于研究、分析和符合合规要求的企业记录。Captioner 模型是针对音频描述微调的专用模型，旨在以较低的幻觉率准确描述音乐、语音和混合音频。
用户可从模型平台下载 Qwen3-Omni，在 GitHub 获取代码和权重，也可通过阿里云 API 使用，其中包括适用于交互式服务的高速 Flash 选项。新用户可免费使用 100 万个 token，额度自激活起 90 天内有效。付费价格按每千个 token 计算：文本输入为 0.00025 美元，图像或视频输入为 0.00046 美元，音频输入为 0.00221 美元。输出方面，仅含文本输入时，文本输出价格为 0.00096 美元；输入包含图像或音频时，价格升至 0.00178 美元。开发者同时请求文本和音频输出时，音频部分每千个 token 收费 0.00876 美元，文本部分免费。
通过 API，音频输出仅支持非思考模式。这一设计简化了流式语音的调度，也避免与长时间运行的结构化推理发生冲突。需要丰富思维链的团队仍可先用 Thinking 模型进行规划或检索，再将最终答复交给音频渲染器或 Instruct 模型生成语音。
基准测试及其解读方式
阿里巴巴报告称，该模型在 36 项公开测试中表现强劲，在 22 项测试中达到行业领先水平，在 32 项测试中领先于开源模型。这些数据表明，该系统在保持文本和视觉能力的同时，也在语音领域取得进展。值得关注的成绩包括：在推理任务中，Qwen3-Omni 在 AIME25 上得分 65.0，在 ZebraLogic 上得分 76.0；WritingBench 得分为 82.6。在音频转录方面，该模型在 Wenetspeech 上的词错误率分别为 4.69 和 5.89，在 Librispeech other 上为 2.48，对该数据集而言这一数值很低。音乐标签和分类成绩也表现不俗，例如在 GTZAN 上得分 93.0，在 RUL-MuchoMusic 上得分 52.0，显示出模型对音乐类型和音频特征有较好的识别能力。
视觉和数学基准测试同样显示出其优势。HallusionBench 得分为 59.7，MMMU_pro 为 57.0，MathVision_full 为 56.3。在视频理解方面，Qwen3-Omni 在 MLVU 上得分 75.2。根据阿里巴巴公布的数据，在这些特定测试中，其成绩超过了许多闭源模型，包括 GPT 4o 和 Gemini 2.0 Flash。
基准测试无法涵盖用户会遇到的所有情况。真实对话可能有更多噪声，口音各不相同，光线也会变化；业务任务往往还需要串联多个工具。早期独立评测指出，即便小型模型在排行榜上表现出色，有时在精心设计的测试之外仍会遇到困难。开发者应使用自己的数据开展概念验证，尤其要测试领域术语、专业图表或多人声音重叠等边缘情况。
与 GPT 4o、Gemini 和 Gemma 的比较
Qwen3-Omni 进入了一个竞争激烈的市场，竞争者包括 OpenAI 的 GPT 4o 和 Google 的 Gemini 2.5。这些系统实力强劲，且已集成到大型平台中，但它们都是闭源的。用户按调用次数付费，且无法合法修改基础模型或再分发。Qwen3-Omni 采用 Apache 2.0 许可证发布，这是一种宽松许可证，允许商业使用、修改代码和权重以及再分发，并包含专利授权。对于需要将 AI 直接集成到产品或私有基础设施中的企业而言，这些条款降低了法律风险。
功能方面，Qwen3-Omni 可接收文本、图像、音频和视频输入，并以文本或语音作答。GPT 4o 可接收文本、图像和音频输入，并以文本和语音作答，但其核心配置不支持视频片段输入。Gemini 2.5 Pro 能分析视频输入，并通过 Google 服务提供文本和语音回复。阿里巴巴将 Qwen3-Omni 定位为原生多模态系统，其中语音和视觉是核心能力，而非附加在文本核心之上的适配器。
Google 也依据 Apache 2.0 许可证开源了 Gemma 3n。Gemma 3n 可接收视频、音频、文本和图像，但只能输出文本。对于希望使用完全开放技术栈并实现实时语音输出的团队来说，Qwen3-Omni 可能是目前唯一一款既采用宽松许可证、又开箱即支持语音生成的选择。
Apache 2.0 对采用者为何重要
许可证决定了模型可以在哪里运行，以及如何将其转化为产品。Apache 2.0 允许微调，也允许闭源再分发，且无需公开衍生模型。它还包含专利授权和贡献者许可。对于严格审查知识产权的受监管行业而言，这些条款有助于降低集成风险。企业可以在自有服务器、选定的云平台或边缘设备上部署 Qwen3-Omni，同时将定制模型保留为私有。
企业与开发者应用场景
Qwen3-Omni 面向广泛的工作场景。其多语言文本和语音技术栈可用于呼叫中心转录，以及覆盖 19 种输入语言和 10 种输出语言的实时翻译。音频描述模型可为编辑、档案管理人员和辅助工具描述音乐、环境音及混合音频片段。视觉处理流程可读取屏幕截图和照片中的文字与版面，有助于自动化后台工作流程和客户开户流程。
视频理解是其标志性能力。客服人员可以分析手机拍摄的短片，识别故障指示灯或接线错误。维护应用可以查看实时视频流，确认阀门是否已打开。由于 Thinker 和 Talker 并行运行，系统在继续处理传入画面的同时即可开始说话，在免提场景中保持类似真人对话的节奏。
明确区分思考与说话，让开发者能够掌控流程。检索系统可以调取公司文档，策略过滤器可以筛查内容，安全检查则可在 Talker 输出音频前审查推理轨迹。这种模式适用于必须保持品牌调性的消费级助手、必须避免数据泄露的企业摘要工具，以及需要提供逐步指导的现场服务工具。
工具调用与智能体
Qwen3-Omni 可以连接外部工具和服务，处理复杂任务，包括调用搜索、查询数据库或触发工作流引擎。阿里巴巴也在其云平台上构建智能体框架，帮助低代码和高代码团队组合工具、安排任务并部署到生产环境。在非思考模式下，上下文窗口超过 49,000 个 token，模型可以处理较长的多步骤会话，并跟踪之前的操作。
采用情况、市场与战略
开发者的兴趣迅速升温。Qwen3 系列的多个变体占据了主流模型平台趋势榜的多个前列位置，其中 Qwen3-Omni-30B-A3B 经常排名第一。这一关注度反映出中国开源模型正在研究和产业领域赢得广泛关注。
市场信号也指向同一趋势。随着市场对阿里巴巴 AI 和云业务发展的信心增强，加上分析师近期上调评级、全球基金重新表现出兴趣，阿里巴巴股价随之上涨。公司正在扩大数据中心布局，以服务中国以外的客户，在巴西、法国和荷兰新建设施，并计划在其他地区增加容量。阿里巴巴还在大力投资 AI 基础设施，承诺未来三年投入数百亿美元，并表示 AI 总资本支出将继续增加。
硬件合作也是计划的一部分。阿里巴巴宣布与 Nvidia 开展软件合作，将 AI 开发工具整合到训练、仿真和验证等领域。公司还预告了规模更大的 Qwen3 Max 模型，参数量超过一万亿，面向高级代码生成和智能体行为。这表明 Qwen3-Omni 属于更广泛的模型系列，涵盖从交互式助手到大型研究模型的不同需求。
阿里巴巴方面的声音
阿里巴巴集团首席执行官吴泳铭在公司于杭州举行的年度大会上定下基调，将 AI 和云业务称为下一阶段增长的双引擎。他还阐述了扩大国际数据中心规模、深化训练和部署合作的计划。
吴泳铭在发言中解释了公司加大 AI 投资的原因。
AI 和云业务与电子商务一道，是阿里巴巴的增长引擎。我们将扩大投入和服务能力，以满足全球需求。
通义千问团队研究员林俊旸介绍了该项目如何借助此前在语音和视觉领域的成果，构建出这一新系统。
我们整合了基础音频和图像项目，打造出 Qwen3 Omni。
风险、局限与关注重点
即便基准测试成绩出色，仍有一些问题只能通过生产环境中的实际使用来回答。真实场景中的音频可能包含强烈的背景噪声、多人串音或罕见口音；视频也常会出现眩光、运动模糊或遮挡。如果服务需要对专业图表实现极高召回率，或在狭窄领域提供符合合规要求的转录，就应预留时间整理数据并进行领域微调。
当前版本支持 10 种语音输出语言，已覆盖许多市场，但有长尾语言需求的团队仍需使用文本输出或第三方语音引擎。Thinker 和 Talker 的分工也带来了取舍。一些组织可能希望严格以文本形式保留长篇推理，仅为最终答案合成语音；另一些组织则可能愿意接受较短的输出，以换取更快的语音响应。应根据用户体验目标测试这些取舍。
开源许可证对产品开发者是一项优势，但也意味着任何人都可以改造模型。企业应使用内容过滤器、滥用检测和使用监控来防止误用。另一方面，Apache 2.0 包含专利授权，可降低采用者的知识产权风险，这是企业合规团队看重的关键因素。
其目标是打造一款能跨文本、视觉和声音进行思考，并以近似人类的速度响应的多模态助手。如果 Qwen3-Omni 能在精心设计的评测环境之外持续证明自身实力，它可能成为那些希望实现本地控制、成本可预测并拥有广泛开发者社区的团队的首选。
要点
- Qwen3-Omni 可接收文本、图像、音频和视频输入，并输出文本和语音。
- 该模型依据 Apache 2.0 许可证开源，包含用于商业用途的专利授权。
- Thinker 负责推理，Talker 负责生成语音，两者均采用混合专家架构以提升速度。
- 据报告，音频首包延迟为 234 毫秒，视频为 547 毫秒。
- 支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言。
- 提供三个变体：Instruct、Thinking 和 Captioner。
- API 文本输入价格从每千个 token 0.00025 美元起，并提供 100 万 token 免费试用额度。
- 基准测试显示，该模型在多项语音、视频和推理测试中处于领先地位。
- Hugging Face 排名和投资者关注度显示其采用速度迅速。
- 阿里巴巴正在扩建数据中心、深化与 Nvidia 的合作，并壮大 Qwen3 系列。
