Mistral 发布 OCR API，文档理解基准超过 Google Document AI 与 Azure OCR
Research Mistral OCR March 6, 2025 By Mistral Team
Mistral 发布 Mistral OCR，一款可识别图像、文本、表格和公式的光学字符识别 API。内部基准中 Mistral OCR 2503 综合得分 94.89，高于 Gemini-2.0-Flash-001 的 88.69 和 Azure OCR 的 89.52；单节点处理速度可达每分钟 2000 页。
官方发布 OCR API，给出与竞品的基准对比和每分钟页数，读者可据此评估其在多模态 RAG 管线中的适配性。
Mistral OCR 已不再维护，已被我们最新、更强大的 OCR 模型所取代。
纵观历史，信息抽象与检索的进步推动了人类的发展。从象形文字到莎草纸，从印刷机到数字化，每一次飞跃都使人类知识更易于获取和运用，从而推动进一步的创新。
如今，我们正站在下一次重大飞跃的边缘——释放所有数字化信息的集体智慧。全球约90%的组织数据以文档形式存储，为了挖掘这一潜力，我们推出了 Mistral OCR。
Mistral OCR 是一种光学字符识别 API，为文档理解设定了新标准。与其他模型不同，Mistral OCR 以前所未有的准确性和认知能力理解文档的每个元素——媒体、文本、表格、公式。它接受图像和 PDF 作为输入，并以有序的交错文本和图像形式提取内容。
因此，Mistral OCR 是与 RAG 系统结合使用的理想模型，可处理多模态文档（如幻灯片或复杂 PDF）作为输入。
我们已将 Mistral OCR 设为 Le Chat 上数百万用户文档理解的默认模型，并发布 API mistral-ocr-latest，价格为 1000 页/美元（使用批量推理时每美元页数约翻倍）。该 API 今日已在我们的开发者套件 la Plateforme 上提供，并将很快登陆我们的云和推理合作伙伴，以及本地部署。
1. 对复杂文档的最先进理解
2. 原生多语言和多模态
3. 顶级基准测试
4. 同类中最快
5. 文档即提示，结构化输出
6. 针对处理高度敏感或机密信息的组织，可选择性地提供自托管
让我们逐一深入探讨。
对复杂文档的最先进理解
Mistral OCR 擅长理解复杂的文档元素，包括交错图像、数学表达式、表格以及 LaTeX 格式等高级布局。该模型能够更深入地理解丰富的文档，如包含图表、图形、公式和数字的科学论文。
以下是一个示例，展示模型从给定 PDF 中提取文本和图像到 markdown 文件。您可以在此处访问 notebook。
下面我们提供了 PDF 及其各自 OCR 输出的并排比较。悬停滑块可在输入和输出之间切换。
表格 + 图形
OCR 结果
数学
OCR 结果
印地语
OCR 结果
文档
OCR 结果
阿拉伯语
OCR 结果
顶级基准测试
Mistral OCR 在严格的基准测试中始终优于其他领先的 OCR 模型。其在文档分析多个方面的卓越准确性如下图所示。我们从文档中提取嵌入图像以及文本。下面比较的其他 LLM 不具备该能力。为了公平比较，我们在内部“纯文本”测试集上评估它们，该测试集包含各种出版论文和来自网络的 PDF；如下所示：
| 模型 | 总体 | 数学 | 多语言 | 扫描件 | 表格 | | --- | --- | --- | --- | --- | --- | | Google Document AI | 83.42 | 80.29 | 86.42 | 92.77 | 78.16 | | Azure OCR | 89.52 | 85.72 | 87.52 | 94.65 | 89.52 | | Gemini-1.5-Flash-002 | 90.23 | 89.11 | 86.76 | 94.87 | 90.48 | | Gemini-1.5-Pro-002 | 89.92 | 88.48 | 86.33 | 96.15 | 89.71 | | Gemini-2.0-Flash-001 | 88.69 | 84.18 | 85.80 | 95.11 | 91.46 | | GPT-4o-2024-11-20 | 89.77 | 87.55 | 86.00 | 94.58 | 91.70 | | Mistral OCR 2503 | 94.89 | 94.29 | 89.55 | 98.96 | 96.12 |
原生多语言
自 Mistral 成立以来，我们一直渴望用我们的模型服务世界，因此在我们所有的产品中都力求具备多语言能力。Mistral OCR 将这一点提升到了新的水平，能够解析、理解并转录来自各大洲的数千种文字、字体和语言。这种多功能性对于处理来自不同语言背景文档的全球组织，以及服务细分市场的超本地化企业来说都至关重要。
| 模型 | 生成中的模糊匹配 | | --- | --- | | Google-Document-AI | 95.88 | | Gemini-2.0-Flash-001 | 96.53 | | Azure OCR | 97.31 | | Mistral OCR 2503 | 99.02 |
按语言的基准测试：
| 语言 | Azure OCR | Google Doc AI | Gemini-2.0-Flash-001 | Mistral OCR 2503 | | --- | --- | --- | --- | --- | | ru | 97.35 | 95.56 | 96.58 | 99.09 | | fr | 97.50 | 96.36 | 97.06 | 99.20 | | hi | 96.45 | 95.65 | 94.99 | 97.55 | | zh | 91.40 | 90.89 | 91.85 | 97.11 | | pt | 97.96 | 96.24 | 97.25 | 99.42 | | de | 98.39 | 97.09 | 97.19 | 99.51 | | es | 98.54 | 97.52 | 97.75 | 99.54 | | tr | 95.91 | 93.85 | 94.66 | 97.00 | | uk | 97.81 | 96.24 | 96.70 | 99.29 | | it | 98.31 | 97.69 | 97.68 | 99.42 | | ro | 96.45 | 95.14 | 95.88 | 98.79 |
同类中最快
由于比同类中的大多数模型更轻量，Mistral OCR 的性能显著快于同类产品，在单个节点上每分钟可处理多达 2000 页。快速处理文档的能力确保了即使在高吞吐量环境中也能持续学习和改进。
文档即提示，结构化输出
Mistral OCR 还引入了将文档用作提示的方式，从而实现更强大、更精确的指令。这一能力使用户能够从文档中提取特定信息，并将其格式化为结构化输出，例如 JSON。用户可以将提取的输出串联到下游函数调用中并构建智能体。请参阅此示例 notebook。
可按选择进行自托管
对于有严格数据隐私要求的组织，Mistral OCR 提供自托管选项。这确保敏感或机密信息保留在您自己的基础设施内，从而符合监管和安全标准。如果您想与我们探讨自部署，请告知我们。
我们正在赋能我们的测试版客户，通过将其庞大的文档库转化为行动和解决方案，提升其组织知识。我们的技术正在产生重大影响的一些关键用例包括：
数字化科学研究：领先的研究机构一直在试验 Mistral OCR，将科学论文和期刊转换为 AI 可用的格式，使其可供下游智能引擎访问。这促进了可衡量的更快协作，并加速了科学工作流程。
保护历史与文化遗产：作为遗产守护者的机构和非营利组织一直在使用 Mistral OCR 对历史文献和文物进行数字化，确保其得到保存，并让更广泛的受众能够访问。
简化客户服务：客户服务部门正在探索使用 Mistral OCR 将文档和手册转化为可索引的知识，从而缩短响应时间并提升客户满意度。
让设计、教育、法律等领域的文献为 AI 做好准备：Mistral OCR 还一直在帮助公司将技术文献、工程图纸、讲义、演示文稿、监管申报文件等转换为可索引、可直接回答的格式，在数百万份文档中释放智能与生产力。
立即体验
Mistral OCR 功能可在 le Chat 上免费试用。如需试用 API，请前往 la Plateforme。我们非常期待收到您的反馈；预计该模型在未来几周内还会继续变得更好。作为我们战略合作计划的一部分，我们还将有选择地提供本地部署。
来源：Mistral AI：News · mistral.ai