LlamaIndex 推出 GenAI 原生文档解析平台 LlamaParse,新增自然语言解析指令与 JSON 模式
Launching the first GenAI-native document parsing platform
LlamaIndex 发布 LlamaParse 正式版,定位为首个 GenAI 原生文档解析平台,公测 3 周内已有超过 2000 名用户解析超过 100 万页。
官方宣布 LlamaParse 正式版上线,解析指令、JSON 模式和定价等细节齐全,做文档 RAG 的读者可据此评估是否采用。
我们在 LlamaIndex 的使命是将世界的数据与 LLM 的强大能力连接起来,今天我们很高兴地宣布,我们朝着这一目标迈出了最新的一大步,推出了全球首个 GenAI 原生的文档解析平台 LlamaParse。
我们在 3 周前 发布了 LlamaParse 的首个公开版本,反响巨大,已有超过 2,000 名用户解析了超过 100 万页文档!自那时起,我们一直在努力发布了数百个错误修复和新功能,今天我们发布了一项颠覆性的新功能:由 GenAI 驱动的解析指令。
立即探索我们的免费和付费方案。
使用 LLM 实现世界级解析
解析指令背后的关键洞察是:你清楚自己拥有什么类型的文档,因此你早已知道自己想要什么样的输出。既然支持 LLM 的解析器可以接收你给出的简单自然语言指令,并带来大幅提升的解析结果,为什么还要让解析器去猜测呢?
示例 1:丰富的表格支持
自首次发布以来,LlamaParse 就一直具备业界领先的表格提取能力。在底层,它从一开始就利用了 LLM 智能。它与开源框架提供的高级索引/检索能力无缝集成,使用户能够构建最先进的文档 RAG。现在,借助 JSON 模式(见下文)和解析指令,你可以更进一步。
示例 2:解析漫画书
解析翻译过的漫画对解析器来说是一项特别的挑战,因为普通解析器会将分格视为表格中的单元格,而且阅读顺序是从右到左,尽管这本书是英文的,正如 Hiroyuki Kojima 所著《漫画微积分指南》中的这段摘录所示:
使用 LlamaParse,你可以用简单的英语指令告诉解析器该怎么做:
The provided document is a manga comic book.
Most pages do NOT have title. It does not contain tables.
Try to reconstruct the dialogue happening in a cohesive way.(你可以在我们的演示 notebook 中查看完整代码,包括在没有这些指令的情况下解析会是什么样子)
结果就是完美的解析!
# The Asagake Times
Sanda-Cho Distributor
A newspaper distributor?
Do I have the wrong map?示例 3:数学公式
另一种对解析来说颇具挑战的格式是复杂的数学公式(巧合的是,我们选作示例的这本漫画讲的正是如何做数学):
为了解析它,我们沿用之前的相同指令,并添加一句话:Output any math equation in LATEX markdown (between $$)。解析结果是清晰的 LaTeX 指令,可以完美渲染这些公式:
LLM 能做的,我们的解析器都能做
你可以使用这类自然语言指令对文档进行各种高级预处理——简化语言、加入情感分析、翻译成另一种语言!我们迫不及待想看到你利用 LlamaParse 的强大能力做出什么。
JSON 模式
解析指令无疑是头条功能,但自发布以来,LlamaParse 还新增了数十项其他功能。其中尤为突出的是 JSON 模式,这是一种丰富的程序化格式,非常适合你希望更精确地指定要解析出什么内容的情况。JSON 模式的输出包括
- 被解析文档的完整结构
- 标记出的表格、文本和标题
- 表格以 CSV 和 JSON 形式提供
- 图像被标记出来并可提取(见下文)
- 关于每个节点的丰富元数据
如果你正在构建自定义 RAG 策略,JSON 模式为你提供了构建所需的一切。查看我们的 JSON 模式示例!
JSON 模式最出色的功能之一是图像提取:每个包含图像的页面都会附带一个图像列表,并标注了包括尺寸和页面位置在内的元数据,你可以直接检索这些图像并将其纳入索引,从而从复杂、图像密集的文档中提取更多信息。
扩展的文档类型
我们推出 LlamaParse 时对 PDF 提供了卓越支持,并且我们每天都在持续扩展其能力。我们还增加了对大量文档类型的支持:
- Microsoft Word(.doc、.docx)
- Microsoft PowerPoint(.pptx)
- 富文本格式(.rtf)
- Apple Pages(.pages)
- Apple Keynote(.key)
- ePub 电子书(.epub)
- 以及更多类型!
所有这些文档类型都“开箱即用”,无需你额外操作,我们也在不断扩展支持的文件类型列表。查看这个演示 notebook,我们在其中演示了解析 PowerPoint 文件。
还有一件事……无限解析!
对 LlamaParse 的巨大需求包括许多人希望通过付费计划突破我们的每日免费额度,我们很高兴回应这些请求。我们的定价很简单:
- 每周 7000 页免费
- 额外页面为 $0.003/页,或每 1000 页 $3
- 单个文档的最大大小为 750 页
当然,我们保留了慷慨的免费额度:每天 1000 页。
LlamaParse 的公开版本是一项托管服务。如果你想扩展 LlamaParse 能力以构建高级文档 RAG,或希望在私有云中部署 LlamaParse,请联系我们。
来源:LlamaIndex:产品、工程与评测 · llamaindex.ai