多模态 AI 新晋开源竞争者
阿里巴巴推出了 Qwen3 Omni，这是一款功能广泛的多模态模型，能够阅读文本、查看图像、聆听音频和观看视频，并以文本和自然语音作答。该公司将其定位为原生端到端全模态模型。这意味着模型从设计之初就能统一处理所有这些输入，而不是把语音或视觉作为后加的功能。随着众多机构权衡开源模型与 GPT 4o、Gemini 2.5 Pro 等专有系统在成本和控制权方面的取舍，这款模型应运而生。两者最显著的区别在于访问方式。Qwen3 Omni 采用 Apache 2.0 许可证发布。这是一种宽松的许可框架，允许免费商用、修改和再分发，降低了希望自行托管模型或推出产品、同时避免按席位付费或受制于供应商的团队的门槛。
目录
Qwen3 Omni 还超越了文本、图像和音频这一常见组合，也能分析视频，而这一能力此前主要局限于封闭平台。该模型支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言，涵盖主要语言以及粤语等部分方言。早期资料着重介绍了其流式响应能力，交互感更接近对话而非批量处理：音频首包约四分之一秒，视频首包约半秒。对于需要实时打断、澄清并快速转接的助手来说，这是一个重要门槛，适用场景包括客服通话或移动导览。
此次发布包含三个针对不同任务优化的版本。Instruct 是功能完整的对话模型；Thinking 专注于复杂推理和长思维链，并输出文本；Captioner 则专门用于音频描述，适合对低幻觉率要求较高的场景。开发者可以从热门模型平台获取权重，使用更快的 Flash 选项调用 API，也可以通过微调来控制领域表现和风格。该公司公布的基准测试显示，模型在语音、音频和视频任务中表现出色，同时文本和视觉能力也能与领先系统竞争。
Qwen3 Omni 有何不同
几项技术选择让 Qwen3 Omni 脱颖而出。首先，它的训练流程从一开始就混合单模态和跨模态数据，并在预训练和后训练阶段持续扩展。其次，模型采用混合专家架构，每个 token 只激活一小部分参数。这有助于提高吞吐量、降低推理成本，对实时应用和硬件受限环境中的部署尤为重要。第三，系统将推理和语音拆分为两个协同工作的组件，分别称为 Thinker 和 Talker。Thinker 负责多模态理解和推理中的繁重工作，Talker 则把高层表示转换为保留节奏和个性的语音。
面向不同需求的三个模型版本
阿里云在 Qwen3 Omni 30B A3B 系列下发布了三个选项，方便团队选择合适的版本：
- Instruct：结合 Thinker 和 Talker，可处理文本、图像、音频和视频输入，并输出文本和语音。
- Thinking：专注于深度推理和长思维链，接受相同的多模态输入，但只输出文本。
- Captioner：面向音频描述和说明，力求降低幻觉，适用于媒体分析、无障碍服务和内容审核流程。
API 还提供了针对低延迟和高并发优化的 Flash 版本。如果你正在开发客服中心助手或购物导览，需要在流量激增时仍能及时应答，这一选项可能会很有用。
Thinker 与 Talker 架构解析
Qwen3 Omni 将不同职责拆分开来，既保持语音自然，也让推理更灵活。Thinker 是多模态核心模型，它对齐并融合文本、图像、音频和视频特征，再生成驱动响应的 token 级表示。Talker 是专用的语音生成器。它不把 Thinker 的输出当作文本来处理，而是直接以音频和视觉特征为条件。这种设计有助于 Talker 根据所见所闻调整韵律和音色，从而改善翻译和声音演绎中的节奏、强调方式和情绪基调等表现。
为降低语音延迟，Talker 使用多码本自回归方案来预测离散声学 token，随后由轻量级 Code2Wav 卷积网络将这些 token 转换为波形。由于 Talker 与 Thinker 的文本输出解耦，外部模块可以在语音生成前影响或过滤 Thinker 的输出。这让安全流程更易于实施，因为策略检查和检索步骤可以在思考与说话之间运行。流式性能是核心设计目标。该公司给出的数据称，音频首包约为 234 毫秒，视频首包约为 547 毫秒。系统的实时因子低于 1，这意味着即使同时处理多个请求，也能以快于音频播放时长的速度生成音频。
Thinker 和 Talker 均采用混合专家架构。在混合专家架构中，模型由许多小型专家网络和一个门控网络组成，后者会把每个 token 分配给其中少数几个专家。每个 token 只运行一小部分参数，有助于支持高并发并保持推理响应迅速。对开发者而言，这可能决定了助手能否及时打断并参与互动，还是只能等到轮到自己时才开口。
模型构建方式与支持能力
音频性能始于编码器。Qwen3 Omni 引入了从零构建的 Audio Transformer，并使用约 2000 万小时的监督数据进行训练。训练数据主要包含中文和英语自动语音识别数据，也加入了其他语言的数据以及以音频理解为核心的任务数据。编码器约有 6 亿个参数，支持流式缓存以降低延迟，也可以离线运行，用于长录音等分析任务。编码器通过对齐阶段将数据送入多模态核心，使模型能够跨格式推理。
预训练分三个阶段进行。在编码器对齐阶段，视觉和音频编码器经过训练和对齐，同时语言模型保持冻结。在通用训练阶段，团队将训练规模扩大到约 2 万亿个 token，涵盖文本、音频、图像以及部分视频和音视频配对数据。在长上下文训练阶段，最大 token 长度从 8,192 扩展至 32,768，同时加入更多长音频和视频序列。后训练包括监督微调、从更强教师模型进行蒸馏，以及利用规则和模型判断对 Thinker 进行策略优化。Talker 则经历了四阶段训练流程，使用数亿条多模态语音样本并结合持续预训练，旨在降低幻觉、改善语音质量。
对于一个 300 亿参数系列而言，其能力和限制范围都很广。Qwen3 Omni 支持 119 种文本语言、19 种语音输入语言和 10 种语音输出语言。Thinking Mode 的上下文窗口为 65,536 个 token，Non Thinking Mode 支持 49,152 个 token；模型最多支持 16,384 个 token 的输入和 16,384 个 token 的输出。思维链最长可达 32,768 个 token。这一规模有助于处理复杂转录、长时间会议，或其他模型若不分块就难以处理的代码库和文档。
基准测试、优势及如何看待相关数据
阿里巴巴报告称，在涵盖 36 项基准测试的评估中，Qwen3 Omni 有 22 项得分位居榜首，并在 32 项测试中领先开源模型。在文本和推理方面，该模型在 AIME25 上得分为 65.0，远高于 GPT 4o 公布的 26.7；在 ZebraLogic 上得分为 76.0，高于 Gemini 2.5 Flash 公布的 57.9。WritingBench 得分为 82.6，而 GPT 4o 为 75.5。在语音和音频方面，模型在 Wenetspeech 两个常用测试集上的词错误率分别为 4.69 和 5.89，明显优于 GPT 4o 报告的 15.30 和 32.27。在 Librispeech other 测试集上，词错误率降至 2.48，在同类模型中处于较低水平。
图像和视觉测试结果包括：HallusionBench 得分 59.7、MMMU pro 得分 57.0、MathVision full 得分 56.3，均高于该公司报告中的 GPT 4o。视频理解方面，模型在 MLVU 上达到 75.2，高于 Gemini 2.0 Flash 的 71.0 和 GPT 4o 的 64.6。音乐任务也有所提升，在 GTZAN 上得分 93.0，在 RUL MuchoMusic 上得分 52.0。这些数据描绘出的整体表现与其设计重点一致：Qwen3 Omni 在音频和音视频理解方面设定了较高门槛，同时保持了强劲的文本和图像能力。
基准测试很有参考价值，但仍属于受控测试。数据集和评分方式可能偏向某些训练数据组合。实际部署会遇到新的挑战，例如麦克风噪声、口音、杂乱的手机摄像头画面以及快速切换上下文。多模态模型也面临一种常见取舍：兼顾多种模态的训练，可能会让纯文本表现略逊于更大型、以文本为先的模型。团队应使用自己的数据开展有针对性的试点测试，必要时再选择混合模型策略。许多企业会搭配使用较小的多模态模型来听取和观察输入，再由较大的文本模型起草报告或电子邮件。Apache 开源许可证让这类协同更容易落地，无须经历繁琐的采购流程。
与 GPT 4o、Gemini 2.5 Pro 和 Gemma 3n 的比较
OpenAI 通过 GPT 4o 提升了业界预期。该模型将文本、图像和音频统一起来，实现紧密协同并支持自然语音。Qwen3 Omni 则在输入类型中加入了视频分析。谷歌的 Gemini 2.5 Pro 也能分析视频，但仍是专有模型。谷歌还推出了开源模型 Gemma 3n，支持文本、图像、音频和视频输入，但只输出文本。Qwen3 Omni 可以输出文本和语音，因此适用的交互场景更广，例如实时翻译或客服中心中的智能体转接。
另一个区别在于许可方式。Qwen3 Omni 采用 Apache 2.0 许可证发布，并附带专利许可，企业可以使用、修改并推出产品，而无须公开源代码或支付运行时费用。封闭模型则需要付费访问，且使用受限于提供商的平台。现代开源模型发布通常存在一个需要注意之处：权重和使用代码是开放的，但从零重建模型所需的完整方案，包括整理后的训练数据，通常不会公开。对许多采用者而言，核心目标是运行模型、进行微调并将其集成到生产环境中，而这些都已得到许可。
延迟表现也有竞争力。阿里巴巴公布的音频首包时间约为 234 毫秒，视频首包时间约为 547 毫秒，与最佳对话系统处于同一水平。企业还必须评估首包时间以外的服务级别目标，包括内容稳定所需时间以及长回答的总响应时间。Qwen3 Omni 还提供了 API Flash 版本以进一步加快响应，其思路类似其他生态系统中主打速度的产品档位。
访问方式、定价与免费额度
开发者可以通过多种方式试用 Qwen3 Omni。模型权重可从主要模型平台获取。API 提供按需访问，激活后 90 天内可免费使用覆盖各种模态的 100 万个 token。费用按每千个 token 计价。文本输入为 0.00025 美元。音频输入为 0.00221 美元。图像和视频输入为 0.00046 美元。如果输入仅包含文本，文本输出每千个 token 收费 0.00096 美元；如果输入包含图像或音频，则收费 0.00178 美元。如果请求同时输出文本和音频，音频部分每千个 token 收费 0.00876 美元，文本部分免费。
与许多封闭产品相比，这些价格较低，便于用户以较低成本开展实验。据该公司介绍，Thinking Mode 和 Non Thinking Mode 的价格相同。音频输出仅支持 Non Thinking Mode。Model Studio 平台还列出了上下文限制和模型选项，企业可按速度、质量和成本选择模型。阿里云 Model Studio 页面提供了官方详情，见此链接。
应用场景：从客服到媒体工具
Qwen3 Omni 面向那些需要结合视觉、听觉和语音的任务。以下示例展示了其应用范围：
- 实时技术支持。助手可以查看手机摄像头画面并聆听客户描述，随后用自然语音提供逐步指导。
- 多语言转录和翻译。模型可以转录多种语言的会议、通话或讲座，再生成英文摘要，或用另一种语言口头回答。
- 音频描述和音乐标签。Captioner 版本可以生成低幻觉率的音频描述，包括背景声音和音乐特征，可用于搜索和版权管理。
- 视频理解。模型可以回答有关片段内容的问题、跟踪事件并总结场景。
- OCR 和文档录入。将视觉与语言结合，有助于从表单或收据中提取字段，并结合上下文进行验证。
- 消费级助手。可穿戴设备或手机可以利用该模型进行菜单翻译、地标识别，以及描述周围环境等无障碍服务。
开发者可以通过系统提示微调对话风格和个性。模型也支持工具调用，可连接外部服务以执行检索、计算或数据库查询。这使智能体式模式成为可能：模型先规划、调用工具，再通过语音汇报结果。
许可与企业影响
Apache 2.0 许可证是此次发布的重要组成部分。该许可证允许商用、修改和再分发，并包含专利许可，可降低将模型集成到专有系统时的法律风险。企业可以将 Qwen3 Omni 嵌入产品或内部工作流程，无须向供应商支付费用，也不必开源自己的修改内容。这对要求控制数据路由和日志记录的受监管行业颇具吸引力。开放权重也支持本地部署或在可信云环境中托管。
开源发布并不能自动解决所有问题。训练数据和完整训练代码通常不会一并公开，因此社区无法复现整个模型构建过程。对许多企业来说，这可以接受，因为他们关注的是运行模型、进行定制并满足服务级别目标。此次发布进一步强化了多模型架构的可行性。团队可以按需将快速的开源多模态模型与更大型的专有模型组合使用，也可以全部采用开源方案，以避免平台限制。无论采取哪种方式，能够在宽松许可证下使用具备视频理解和语音能力的模型，都扩大了无需长期谈判即可实现的开发空间。
风险、防护措施与后续评估
多模态模型带来的安全问题超出了文本范畴。音频和视频输入可能包含敏感信息。如果语音输出缺乏依据或未经筛选，也可能造成误导。阿里巴巴详细介绍了一项门控步骤：Talker 生成语音前，外部模块可以拦截 Thinker 的输出。这种设计支持策略检查、检索或红队过滤。企业仍应在自身环境和所在地区验证内容安全，包括提示注入防护、隐私控制，以及录音或分析所需的同意机制。
性能声明应使用真实数据进行验证。口音、领域术语和背景噪声可能降低自动语音识别质量。低光照或运动模糊可能削弱视觉理解能力。工具使用和智能体编排也会带来新的故障模式，例如错误调用工具或陷入循环。企业需要制定日志记录、人工审核和回滚方面的治理政策。最后，基础设施也很重要。要大规模运行实时语音服务，必须仔细规划吞吐量、GPU 显存和负载削减机制。混合专家架构有助于提高效率，但团队仍需针对突发流量和长上下文合理配置集群与缓存。
要点
- 阿里巴巴以 Apache 2.0 许可证发布开源模型 Qwen3 Omni，支持文本、图像、音频和视频输入，以及文本和语音输出。
- 系统采用 Thinker 和 Talker 架构，并运用混合专家设计，以支持高并发和低延迟流式语音生成。
- 据报告，音频首包延迟约为 234 毫秒，视频首包延迟约为 547 毫秒，实时因子低于 1。
- 模型提供三个版本：适合完整交互的 Instruct、用于深度推理并输出文本的 Thinking，以及用于音频描述的 Captioner。
- 训练使用了定制的 Audio Transformer，其训练数据约为 2000 万小时；多模态语料规模约为 2 万亿个 token。
- 根据该公司公布的基准测试，Qwen3 Omni 在多项音频、视频和推理测试中领先，同时在文本和视觉方面保持竞争力。
- 模型按每千个 token 计费，单价较低；通过 API 可享有 90 天内 100 万个 token 的免费额度，权重也可用于自行托管。
- Apache 2.0 许可证允许商用、修改和再分发，并提供专利许可，有助于降低供应商锁定风险。
- 企业应使用真实数据测试安全性、延迟和准确性，并规划治理机制和基础设施，以支持实时工作负载。
