为何此次发布正当其时
阿里巴巴发布了 Qwen3 Omni，这是一款多模态人工智能模型，可在同一系统中处理文本、图像、音频和视频。其推出之际，全球人工智能竞争正日趋激烈。该模型可在 Apache 2.0 许可证下下载和使用，企业可以广泛地运行、修改这项技术，并将其用于商业产品。这种广泛的模态覆盖能力与宽松的许可相结合，对美国领先企业的闭源系统形成了直接压力。
目录
发布时机颇为引人注目。西方企业持续向专有人工智能及其基础设施投入巨资，与此同时，中国研究团队正通过开放访问模型吸引开发者。Qwen3 Omni 很快就在 Hugging Face 社区排行榜上攀升，表明开发者群体正大规模使用该模型。对阿里巴巴而言，此次发布表明，这家中国最大的云服务提供商有意争夺全球人工智能工作负载，而不仅仅是在研究领域争取关注。
这款模型的优势不难概括：一个基础模型即可接收语言、图片、音频和视频，并以文本或自然语音作答，响应可实时流式输出。如果阿里巴巴报告的性能在主流应用中经得起检验，企业便可部署助手、转录服务和分析工具，无需向闭源平台支付使用费，也不必为每种数据类型拼接不同模型。
Qwen3 Omni 是什么，有哪些功能
Qwen3 Omni 是一款专为原生多模态交互打造的基础模型。它支持四种输入：文本、图像、音频和视频；并提供两种输出：文本和语音。响应可以近乎实时地流式输出，因此用户可以与系统对话，也可以将摄像头对准某个场景，在系统处理画面的同时开始听取回答。
阿里巴巴推出了三个版本，便于团队根据使用场景选择相应功能。每个版本都基于一个拥有 300 亿参数的主干模型，并会在推理时选择性地激活专家模块，以提高效率。具体版本如下：
- Instruct：完整的交互模型，可处理音频、视频和文本输入，并生成文本和语音。
- Thinking：专注推理的模型，适合生成长链条思考式回答。它支持相同的输入，但只输出文本。
- Captioner：经过微调的版本，用于生成详细的音频描述，旨在描述声源和声音事件时尽量减少幻觉。
开发者可以从 GitHub 和 Hugging Face 下载模型权重，也可以调用阿里巴巴 API 提供的托管端点。该 API 还提供响应更快的 Flash 版本，适用于对延迟敏感的场景。
Thinker 与 Talker 的架构
该系统采用双组件架构，阿里巴巴称之为 Thinker 和 Talker。Thinker 负责跨模态推理：它融合文本、视觉编码器和音频编码器提供的信息，然后规划并生成文本词元，以表达预期的回答或动作。Talker 则将这一规划转换为自然语音，同时使语音的时序和语调与视觉及音频上下文保持一致。
两个组件都采用混合专家（Mixture of Experts）方法。每一步只激活部分参数，将工作负载分散到不同专家模块，从而在同时收到大量请求时提升吞吐量。这种设计有助于模型在服务并发用户时保持低延迟。
Talker 不依赖 Thinker 的内部文本表示，可以直接以音频和视觉特征为条件生成内容。这让翻译或实时辅助时的语音输出更自然，因为系统能够保留与场景相符的韵律和音色。这种分离也有利于实际部署。检索系统或安全过滤器等外部模块可以检查并调整 Thinker 提出的文本，再由 Talker 将其转换为语音。
为确保语音快速、清晰，Talker 会以自回归方式预测多码本序列，并使用轻量级 Code2Wav 网络即时合成音频帧。这种方法在不牺牲语音细节的同时降低了延迟。
速度、规模与语言支持
对于语音和视频交互而言，延迟至关重要。Qwen3 Omni 报告的首包延迟，音频约为 234 毫秒，视频约为 547 毫秒。即使同时处理多个请求，端到端响应速度也能保持在一个实时因子以内，从而让对话保持流畅。
该模型支持多种语言：文本支持 119 种语言；可理解 19 种语言的语音，并能用 10 种语言讲话。支持范围涵盖主要世界语言和方言，包括粤语。这让产品团队能够面向全球用户开发助手，而无需按地区切换模型。
上下文窗口适合长时间会话。Thinking 模式支持 65,536 个词元，Non Thinking 模式支持 49,152 个词元。输入和输出上限均为 16,384 个词元，最长支持 32,768 个词元的推理链。模型可以分析和总结较长的音频片段，时长最长约 30 分钟。
阿里巴巴如何训练该模型
音频理解能力以定制音频 Transformer AuT 为基础。阿里巴巴使用约 2000 万小时的标注音频从头训练 AuT。这些数据大多用于中文和英文自动语音识别，另有一小部分来自其他语言，以及面向更广泛音频理解任务的数据。AuT 拥有约 6 亿个参数，同时针对流式缓存和离线任务进行了优化。
预训练分三个阶段进行。在编码器对齐阶段，团队训练视觉和音频编码器，同时冻结语言主干，以帮助保持感知质量。随后进行通用训练，使用约 2 万亿词元的数据集，涵盖文本、音频和图像，并加入少量视频和音视频数据。最后的长上下文阶段将序列长度从 8,192 个词元扩展到 32,768 个词元，并加入更长的音频和视频内容，确保模型能够处理长序列。
后训练阶段加入了指令遵循和安全对齐。对于 Thinker，团队采用监督微调、由强到弱的蒸馏，以及结合规则和大语言模型裁判反馈的 GSPO 优化。Talker 则经历了四个阶段，结合数亿条多模态语音样本和基于精选数据的持续预训练。其目标是在提升语音清晰度和表现力的同时减少幻觉。
基准测试、优势与局限
阿里巴巴报告称，在涵盖文本、语音、视觉和视频的 36 项公开基准测试中，Qwen3 Omni 在 22 项中排名第一，在 32 项中领先于开放模型。结果显示，该模型在音频密集型任务上表现强劲，在文本和视觉任务上也具有竞争力。
推理与写作：在 AIME25 测试中，该模型得分为 65.0，远高于 GPT 4o 在 2024 年取得的 26.7 分。在 ZebraLogic 测试中得分为 76.0，高于 Gemini 2.5 Flash 的 57.9。在 WritingBench 测试中得分为 82.6，高于 GPT 4o 的 75.5。
语音与音频：在 Wenetspeech 测试套件中，报告的词错误率分别为 4.69 和 5.89，远低于 GPT 4o 的 15.30 和 32.27。在 LibriSpeech other 测试中，错误率降至 2.48。音乐分类表现同样出色：GTZAN 得分为 93.0，RUL MuchoMusic 得分为 52.0，均高于 GPT 4o。
视觉与视频：HallusionBench 得分为 59.7，MMMU pro 为 57.0，MathVision full 为 56.3，在同一组结果中均高于 GPT 4o。在 MLVU 视频理解测试中，Qwen3 Omni 得分为 75.2，高于 Gemini 2.0 Flash 的 71.0 和 GPT 4o 的 64.6。
这些成绩相当出色，但团队应结合背景来看待。阿里巴巴对系统进行了调整，使其在保持文本和视觉质量的同时，突出语音和多模态交互能力。早期观察者指出，同一系列中的纯文本模型在部分纯语言任务上仍可能领先。从单模态训练转向广泛的多模态体系时，这种取舍很常见。真正的考验在于模型在生产工作流程中的日常表现。
开放许可证、访问方式与定价
Qwen3 Omni 采用 Apache 2.0 许可证发布。该许可证允许商业使用、修改和再分发，并包含专利授权。企业可以将模型集成到产品中，在自有硬件或可信云环境中部署，并发布闭源产品，而无需公开专有修改。该许可证消除了团队在受监管环境中使用先进模型时最常见的法律障碍。
该模型系列可从 GitHub 和 Hugging Face 下载。倾向于使用托管服务的团队可以调用阿里巴巴 API，该 API 还提供响应更快的 Flash 选项。激活后 90 天内，阿里巴巴会提供涵盖各种模态的 100 万词元免费额度，供团队在付费前评估模型能力。
词元定价方式
费用按每千个词元计收。词元是文本的小单位，或其他媒体内容的分块表示，是衡量不同模态计算成本的通用标准。阿里巴巴对 Thinking 和 Non Thinking 模式采用相同的词元单价，只有一项例外：音频输出仅在 Non Thinking 模式下提供。
输入费用：文本输入每千个词元收费 0.00025 美元，约合每百万词元 25 美分。音频输入每千个词元收费 0.00221 美元，约合每百万词元 2.21 美元。图像和视频输入每千个词元收费 0.00046 美元，约合每百万词元 46 美分。
输出费用：如果提示仅包含文本，文本输出每千个词元收费 0.00096 美元。如果输入包含图像或音频，文本输出每千个词元收费 0.00178 美元。如果同时请求文本和音频输出，音频部分每千个词元收费 0.00876 美元。在这种情况下，文本部分免费。
当前即可落地的使用场景
以音频和视频为核心的应用有望从中受益。用于客户支持和媒体本地化的多语言转录与翻译，可以由同一个模型完成：它能够聆听、理解上下文，并以语音作答。Captioner 版本专注于音频描述，适用于媒体标签、广播监测和音乐信息检索。
光学字符识别、物体定位以及图像或视频问答等视觉任务也适合使用该模型。客服人员可以查看笔记本电脑的实时手机摄像头画面，说明需要检查哪根线缆，再以自然语速口述操作步骤。阿里巴巴曾演示通过可穿戴设备实时翻译餐厅菜单。这些场景凸显了流式响应延迟和语音质量的重要性。
Qwen3 Omni 还支持音视频对话。它可以结合听到和看到的内容进行对话，在长时间会话中保持上下文连贯，并在连接工具后调用相关外部知识。开发者可以通过系统提示设定语气和行为，构建特定领域的助手，并在生成语音前将 Thinker 的输出交由自定义安全过滤器处理。
与 GPT 4o、Gemini 2.5 和 Gemma 3n 的比较
Qwen3 Omni 加入了全能型模型阵营，旨在通过一个引擎处理多种数据类型。OpenAI 的 GPT 4o 支持文本、图像和音频输入，以闭源服务形式提供。谷歌的 Gemini 2.5 Pro 也支持视频分析，同样是闭源模型。谷歌的 Gemma 3n 采用开放许可证，支持文本、图像、音频和视频输入，但只生成文本。阿里巴巴的模型支持相同的四种输入，并增加了语音输出，这对助手和实时翻译尤为重要。
开放性带来了实际差异。Qwen3 Omni 的模型权重采用 Apache 2.0 许可证开放，因此企业可以本地运行模型，根据行业监管要求进行调整，并控制数据流。闭源模型在一些高端任务上仍占主导地位，但其许可和数据驻留条件可能限制在敏感行业的部署。许多组织会选择混合方案：以开放模型降低成本、加强控制，并在性能难以超越时使用付费服务。
另一个差异在于生产应用方面的布局。阿里巴巴构建了庞大的 Qwen 系列，涵盖数百种变体，并表示该系列已被开发者广泛采用。如果 Qwen3 Omni 的实时语音和视频交互能力在日常使用中能达到基准测试表现，那么对于需要多语言、低延迟且可自行托管的助手的团队而言，它将是一个可信的替代选择。
采用情况与市场信号
开发者的关注度显而易见。Qwen3 Omni 已登上 Hugging Face 趋势榜首，阿里巴巴的其他模型目前也占据多个榜单前列。这一势头反映出更广泛的趋势：中国实验室的开放模型正逐渐获得全球社区的青睐。
阿里云称，Qwen 系列在全球的下载量已超过 4 亿次，自该系列推出以来，公司已发布 300 多款模型。投资者反应积极。Qwen3 Omni 登上社区排行榜榜首当天，阿里巴巴股价在香港上涨略超 4%，表明市场正密切关注公司的人工智能进展。
对于“开放”一词的含义，人们也存在争论。这些模型采用 Apache 2.0 许可证发布，权重也可获取，但从原始数据复现训练所需的完整配方并未公开。严格意义上的定义可能会将其称为“开放权重”模型。对大多数企业而言，关键在于许可证条款：它们允许企业发布产品，而无需按用户或席位付费。
安全与治理方面的关注点
企业会关注，报告中的基准测试提升能否转化为高负载下可预测且安全的行为。语音系统会带来独特风险，例如指令误听和逼真的语音合成。团队应为身份验证、内容过滤和数据保留设定防护措施。Thinker 与 Talker 分离有助于实施这些控制，因为安全层可以在语音生成前拦截文本。
实际运营准备也将受到关注。大规模采用开放模型的组织通常会投入资源建设机器学习运维（MLOps）、微调流水线和评估体系。Qwen3 Omni 能在一个模型中处理文本、音频、图像和视频，减少了同时管理多个模型的需求。这有助于简化基础设施并加快产品迭代，尤其适用于必须遵守地区规定的本地部署或主权云环境。
阿里巴巴还公布了后续计划，包括改进多说话人识别、提升视频文本识别能力、加强从音视频联合数据中学习的能力，以及开发更强大的自主智能体。随着客户将试点项目转入生产，这些正是他们会率先推动模型改进的领域。
要点
- Qwen3 Omni 是一款单一模型，可接收文本、图像、音频和视频，并以流式速度输出文本和语音。
- 阿里巴巴以 Apache 2.0 许可证开放模型权重，允许商业使用、修改和再分发，并提供专利授权。
- 目前推出三个版本：面向完整交互的 Instruct、面向长链条推理且仅输出文本的 Thinking，以及用于低幻觉音频描述的 Captioner。
- Thinker 和 Talker 将推理与语音生成分离，并采用混合专家方法，在并发负载下保持低延迟。
- 报告的首包延迟，音频约为 234 毫秒，视频约为 547 毫秒；响应速度保持在一个实时因子以内。
- 模型支持 119 种文本语言，可理解 19 种语言的语音，并能用 10 种语言讲话，还支持粤语等方言。
- AuT 是一款拥有 6 亿个参数的音频编码器，使用约 2000 万小时音频训练，为语音理解提供基础。
- 基准测试显示，该模型在 36 项测试中的 22 项领先，并在 32 项测试中领先于开放模型；其语音、音乐、视觉和视频表现出色。
- API 文本输入价格为每千个词元 0.00025 美元起，文本输出价格为每千个词元 0.00096 美元起，并提供 90 天内免费试用 100 万词元。
- 该模型在 Hugging Face 上迅速受到采用。阿里巴巴称，Qwen 系列下载量达数亿次，企业正在评估开放模型的生产应用价值。
