LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案

关键链接

LangChain 公开基准评估 notebook
用于演示文稿多模态 RAG 的 LangChain 模板

动机

检索增强生成（RAG）是 LLM 应用开发中最重要的概念之一。多种类型的文档可以被传入 LLM 的上下文窗口，从而实现交互式聊天或问答助手。虽然迄今为止许多 RAG 应用都聚焦于文本，但大量信息是以视觉内容的形式传达的。例如，幻灯片演示文稿在从投资者演示到公司内部沟通等用例中都很常见。随着像 GPT-4V 这样的多模态 LLM 的出现，现在已有可能解锁对幻灯片演示文稿中常见视觉内容的 RAG。下面，我们展示两种解决此问题的方法。我们分享一个用于评估幻灯片演示文稿 RAG 的公开基准，并用它来突出这些方法之间的权衡。最后，我们提供一个模板，用于快速创建针对幻灯片演示文稿的多模态 RAG 应用。

设计

该任务类似于文本文档上的 RAG 应用：根据用户问题检索相关幻灯片，并将其传递给多模态 LLM（GPT-4V）以合成答案。至少有两种通用方法可以解决此问题。

(1) 多模态嵌入：将幻灯片提取为图像，使用多模态嵌入对每张图像进行嵌入，根据用户输入检索相关的幻灯片图像，并将这些图像传递给 GPT-4V 以合成答案。我们之前已经发布了使用 Chroma 和 OpenCLIP embeddings 的指南。

(2) 多向量检索器：将幻灯片提取为图像，使用 GPT-4V 对每张图像进行摘要，将图像摘要与原始图像的链接一起嵌入，根据图像摘要与用户输入之间的相似度检索相关图像，最后将这些图像传递给 GPT-4V 以合成答案。我们之前已经发布了使用多向量检索器的指南。

这些方法之间的权衡很直接：多模态嵌入是一种更简单的设计，类似于我们对基于文本的 RAG 应用所做的，但可选方案有限，并且对于检索视觉上相似的图表或表格的能力存在一些疑问。相比之下，图像摘要使用成熟的文本嵌入模型，并且可以相当详细地描述图表或图形。但这种设计存在更高的复杂性和图像摘要成本。

评估

为了评估这些方法，我们选择了 Datadog 最近的一份财报演示文稿，作为具有视觉和定性元素混合的现实幻灯片演示文稿。我们为这个幻灯片演示文稿创建了一个小型公开的 LangChain 基准，包含 10 个问题：你可以在这里和这里查看在此基准上进行评估的文档。

作为合理性检查，我们可以看到，根据幻灯片内容的自然语言描述来检索幻灯片是可能的（见下方，代码见此处）。

我们基准中的问答对基于幻灯片的视觉内容。我们使用 LangSmith 评估了上述两种 RAG 方法，并与使用文本提取的 RAG 进行了比较（Top K RAG (text only)）。

方法

得分（CoT 准确率）

Top k RAG（仅文本）

20%

多模态嵌入

60%

带图像摘要的多向量检索器

90%

LangSmith 提供了一个对比视图，我们可以并排查看每个实验的结果。这里是一个公开页面，可以详细比较各次评估运行。下图展示了运行对比视图。

利用上述对比分析，我们可以比较每个问题检索到的内容。这些幻灯片深入展示了评估集中的每一对问答，以及相关的 LangSmith 追踪记录。

洞察

多模态方法远超仅文本 RAG 的性能。我们看到多模态方法（60% 和 90%）相比仅加载文本的 RAG（20%）有显著提升，考虑到保留视觉上下文对于推理幻灯片内容的重要性，这一结果是意料之中的。
GPT-4V 在从图像中提取结构化数据方面非常强大。例如，参见这个追踪记录。该问题要求统计客户数量，而这一信息只能从包含大量混合视觉内容的幻灯片中获取。GPT-4V 能够正确地从该幻灯片中提取这一信息。

检索到正确的图像是核心挑战。正如幻灯片中所述并在上文提到的，如果检索到了正确的图像，GPT-4V 通常能够正确回答问题。然而，图像检索才是核心挑战。我们发现图像摘要确实比多模态嵌入显著改善了检索效果，但代价是预计算摘要的复杂度和成本更高。核心需求是能够区分视觉上相似幻灯片的多模态嵌入。OpenCLIP 有多种不同的模型值得尝试。

部署

为了便于针对此用例测试多模态 RAG 应用，我们发布了一个模板，它同时使用了 Chroma 和 OpenCLIP 多模态嵌入。这使得上手极其简单：只需上传一份演示文稿并按照 README 操作（仅需两条命令即可构建向量存储并运行 playground）。下面我们可以看到Datadog 财报演示文稿上的交互式聊天 playground（左侧），以及显示检索到正确幻灯片的 LangSmith 追踪记录（右侧）。

结论

多模态 LLM 有潜力为 RAG 应用解锁幻灯片中的视觉内容。我们基于 Datadog 的投资者演示幻灯片构建了一个公开的问答对基准评估集（此处）。我们在此基准上使用两种方法测试了多模态 RAG。我们发现两者都超过了仅文本 RAG 的性能。我们识别出了多模态 RAG 各方法之间的权衡：对每张幻灯片进行文本摘要可以改善检索，但代价是需要预生成每张幻灯片的摘要。多模态模型可能具有更高的性能上限，但当前可选方案有些有限，且在我们的测试中表现不如文本摘要。为了帮助多模态 RAG 应用的测试和部署，我们还发布了一个模板。