将长文档压缩进 AI 上下文的新方法
DeepSeek 发布了 DeepSeek-OCR，这是一套视觉语言系统，可将长篇文本转换为图像进行压缩，并在模型需要时还原内容。根据设置和文档类型不同，这种方法可将大型语言模型需要处理的令牌数量减少 7 至 20 倍，同时在中等压缩率下保持较高精度。DeepSeek 表示，在约 10 倍压缩率下，系统的解码准确率约为 97%，在更高压缩率下仍能提供有用结果。该项目提供代码和模型权重，面向开发者开放，旨在解决现代 AI 最昂贵的痛点之一：以合理成本处理长上下文。
目录
该系统分两个阶段运行。名为 DeepEncoder 的视觉编码器会将文本页面、表格、图表及其他版式转换为一组紧凑的视觉令牌。随后，轻量级语言模型 DeepSeek3B MoE A570M 会将这些令牌解码为结构化文本。这种架构在需要时能够保留版式和格式，支持多种语言，并可输出纯文本或 Markdown 表格等结构化结果。
这项技术的重要性归根结底在于令牌，即语言模型读写文本的基本单位。令牌越多，内存占用和延迟就越高，成本也随之上升。模型一次能够处理的上下文也有硬性上限。DeepSeek-OCR 将上下文以图像形式存储，并通过视觉令牌重新读取，为长时间会话和大型文档提供了一种成本更低的记忆层，有望将有效上下文窗口扩展到远超纯文本所能达到的范围。
规模是这项技术的核心卖点之一。训练数据包括约 3000 万页 PDF，涵盖近 100 种语言，并辅以图表、公式和图形的合成数据。在运行效率方面，团队称一块 Nvidia A100 GPU 每天可处理超过 20 万页。由 20 台类似服务器组成的集群，每天可处理约 3300 万页。这些数据表明，该系统有望用于快速文档数字化流程和大规模训练数据生成。
文本转图像如何减少令牌数量
语言模型将输入作为令牌读取，而不是按词语或字符读取。一篇普通文章或报告就可能被拆分成数千个令牌。大多数 Transformer 内部的注意力机制需要比较大量令牌对，序列越长，计算量增长越快。长上下文会推高内存占用和处理时间，大规模应用时就会转化为预算问题。
什么是令牌和上下文窗口
令牌是模型能够理解的语言片段。一个短词可能对应一个令牌，较长的词可能被拆分成多个令牌，标点符号也会计入其中。模型一次能够考虑的令牌数量上限称为上下文窗口。许多实际文件会超出这一限额，因此用户只能截断文档，或为专门支持长上下文的模型支付高昂费用。
为什么像素在存储方面可能比文本更省
视觉编码器会将图像转换为较小的图块网格，再将其压缩为一组视觉令牌。DeepSeek 的编码器使用压缩模块，在将特征传给解码器之前削减令牌数量。技术说明中的一个示例提到，一张 1,024 × 1,024 像素的图像起初会生成 4,096 个图块令牌，经过压缩后降至 256 个，再输入视觉语言处理架构。如果这 256 个令牌能够保留一页密集内容的核心信息，而该页面原本需要 1,500 个或更多文本令牌，节省就立竿见影。
这种取舍很直接：系统不再以文本令牌存储长上下文，而是将其保存为紧凑的视觉令牌快照，并在需要时还原含义。这样既能控制内存预算，也有助于保留版式和图表，同时避开文本分词器的一些局限。代价是增加了编码和解码步骤，并且在压缩率非常高时精度会逐渐下降。
模型内部：DeepEncoder 与解码器
DeepEncoder 融合了两种广为人知的思路：局部感知和全局理解。它采用 Segment Anything Model 骨干网络识别精细区域和边缘，并利用 CLIP 风格模块理解更宏观的语义版式。两者之间设有卷积压缩器，在将视觉令牌传入语言模型处理架构前大幅削减其数量。编码器支持多种分辨率模式，用户可以根据每页内容的复杂程度调整令牌预算。简单的幻灯片可以使用较少令牌；内容密集的新闻页面或科学图表则可能需要更多令牌。
解码器是一种混合专家语言模型，采用 30 亿参数的设计，每个令牌约激活 5.7 亿个参数。专家路由有助于模型针对不同内容类型进行处理，无须为每个令牌都调用全部 30 亿个参数。这样既能节省算力，又能保持较高质量。系统可输出纯文本、以 Markdown 保留结构，也能从表格和图表中提取数据，转换为便于机器处理的格式。它支持多语言 OCR，并能识别示意图、化学结构和几何图形。
预设配置包括 Tiny、Small、Base 和 Large，此外还有适用于极复杂页面的动态模式。这些预设在图像尺寸和令牌数量之间进行权衡。DeepSeek 建议普通页面先从 Small 模式开始，只有在内容密集或版式复杂时才提高设置。
基准测试和精度数据说明了什么
只有解码器能够高保真地还原文本，压缩才有意义。DeepSeek 报告称，在低于 10 倍的压缩率下，解码测试的准确率约为 97%。压缩率达到约 20 倍时，准确率会降至约 60%。团队还展示了若干示例：100 个视觉令牌表示原本需要 700 至 800 个文本令牌的文档，在一项针对性基准测试中，精度仍约为 97%。这些数据与一项结论相符：中等压缩率最能兼顾节省和准确性。
在常见的文档理解测试 OmniDocBench 上，该模型使用更少令牌，表现却优于一些知名 OCR 系统。不同文档类型所需的令牌数量各不相同。幻灯片和简单宣传册每页可能约需 64 个视觉令牌；包含多栏内容和图片的杂志或报纸则可能需要数百个。用户可以通过设置选择保留格式或去除格式。
运行指标颇为激进。团队称，一张 Nvidia A100 显卡每天可处理超过 20 万页，20 台服务器组成的集群每天可处理约 3300 万页。训练和推理代码以及模型权重均采用宽松许可协议开放。这种组合有望推动研究和生产环境中的快速试验。
这项技术可能如何改变 AI 的成本、内存和产品设计
许多 AI 产品在对话或文档链条变长时都会遇到瓶颈。将早期上下文保存为视觉令牌，可以为模型提供成本更低的记忆层。系统可以把较早的对话轮次总结或压缩成图像，只在需要时解码具体细节。这样既能让当前文本上下文保持精简，也能保留从早期阶段找回事实、引文和版式的能力。它还有助于模型处理包含复杂表格或数学内容的页面，因为传统分词器往往难以妥善处理这些内容。
对用户而言，这将带来实用的工作流程。助手可以读取完整的 PDF、合同和电子表格，以紧凑的形式保存信息，并在用户提问时按原有结构还原准确段落。由于解码器能够还原结构而不只是原始字符，从表格中复制行或提取图注也会更加直接。这也预示着一种高效的企业搜索方案：对压缩后的页面快照建立索引，再按需解码相关片段。
对开发者和研究人员来说，处理吞吐量至关重要。该系统每天可在每块 GPU 上生成数十万页语言和视觉模型训练语料。这样的速度有助于以更低成本创建监督数据。依赖图表和表单的行业，例如金融、医疗和科学领域，可能会因此加快数字化流程，同时更好地保留结构。不过，如果将压缩后的输出用于后续训练，仍需谨慎，因为少量解码错误在大规模应用时可能演变为噪声标签。
局限、风险与待解问题
压缩率越高，所需令牌越少，但还原保真度也会降低。压缩率约为 20 倍时，报告的准确率会降至约 60%。许多任务能够容忍轻微错误，但姓名、数字和法律条款等内容则要求近乎完美的还原。用户需要制定规则，将关键页面设为较低压缩率，并仅对不要求精确复现的上下文采用激进压缩。
推理能力也存在疑问。模型在文本令牌上表现出良好的推理能力，因为它们是在这类数据上训练的。视觉令牌带有不同的归纳偏置。解码器必须先还原文本，再进行推理。额外步骤可能会影响依赖长推理链的任务。如果重要上下文存放在图像层后，团队需要测试多步推理，并考虑为精度要求较高的任务准备备用方案。
延迟和基础设施规划同样重要。额外的编码和解码步骤会增加工作量；只有在文档规模较大或对话较长时，节省才会显现。部署前应针对多种文档类型，测试实际运行时间、内存占用和成本，从而确定何时压缩、何时传递原始文本。存储格式也会发生变化：图像或类似图像的张量将取代原始文本文件，可能影响检索系统和合规流程。
隐私和安全问题也不容忽视。将敏感文件压缩为图像或视觉令牌，并不能消除风险。访问控制、加密和审计追踪同样必须覆盖压缩后的存储内容。一些文档仍会给模型带来挑战，例如低分辨率扫描件或字迹潦草的手写材料。对于关键工作流程，谨慎选择动态模式并进行人工复核仍然是明智做法。
如何立即试用 DeepSeek OCR
Hugging Face 项目页面提供模型卡、快速入门说明和下载链接。代码和权重也已发布在 GitHub 上，采用适用于学术和商业用途的宽松许可协议。开发者可从以下页面开始：Hugging Face 模型页面，以及：GitHub 代码仓库。
参考配置列出了 Python 3.12.9 和 CUDA 11.8，依赖项包括 PyTorch、Transformers、Tokenizers、Einops、Addict、Easydict 和 Flash Attention。为获得更快速度，建议使用 Nvidia GPU。预设模式可让用户在细节和成本之间进行权衡。对于标准商务文档，Small 模式是合理的起点；内容密集的科学或法律页面可能适合使用更高分辨率或动态模式。
典型工作流程是先将 PDF 转换为逐页图像，再以所选分辨率将每页输入 DeepEncoder，最后用语言模型解码生成的视觉令牌。输出可以是便于搜索的纯文本，也可以是保留表格和章节标题的 Markdown。GitHub 代码仓库还提供了批量处理脚本和吞吐量优化建议。团队在提高压缩率时应监控准确性，并对关键页面采用较为保守的设置。
要点
- DeepSeek-OCR 将长文本保存为图像进行压缩，再通过解码器按需还原内容。
- 根据设置和文档复杂程度，令牌用量可减少约 7 至 20 倍。
- 报告的解码精度在约 10 倍压缩率时约为 97%，在约 20 倍压缩率时约为 60%。
- 该架构将 DeepEncoder 与混合专家解码器结合，每个令牌约激活 5.7 亿个参数。
- 模式涵盖 Tiny 至 Large，另有适用于极复杂页面的动态选项，用户可以设定明确的令牌预算。
- 基准测试显示，该系统在 OmniDocBench 上表现出色，令牌用量低于常见 OCR 基准系统。
- 据称，单块 Nvidia A100 GPU 每天可处理超过 20 万页，20 台服务器组成的集群每天可处理约 3300 万页。
- 结构化输出包括 Markdown 表格和图表数据，并支持示意图、公式和多种语言。
- Hugging Face 和 GitHub 上提供开源代码和模型权重，采用宽松许可协议。
- 主要适用场景包括低成本长上下文记忆、大规模文档数字化和训练数据生成；对精度要求高的任务则需谨慎设置。
