Perplexity 开源 pplx-embed-v2-late，两个针对文本和图像的 late-interaction 多向量嵌入模型，大小为 9B 和 0.6B，共享同一嵌入空间，权重已在 Hugging Face 提供。9B 可用于索引多模态数据，0.6B 可在设备端查询，无需 OCR 即可检索 PDF 页面；模型在 MADQA 得分 92.4%，BrowseComp+ 得分 64%。
原文给出两个规模的嵌入模型、共享空间用法和基准分数，读者可据此评估多模态检索与端侧查询的可行方案。
我们正在开源 pplx-embed-v2-late，用于文本和图像的多向量嵌入，9B 和 0.6B，处于同一个共享嵌入空间。你可以用这些来通过 9B 索引多模态数据，并在设备上用 0.6B 进行查询。这还使你能够在无需 OCR 的情况下搜索 PDF 页面。并且在 MADQA 上得分 92.4%，在 BrowseComp+ 上得分 64%。权重现已在 @huggingface 上提供。
我们发布 pplx-embed-v2-late，两个后期交互嵌入模型，通过共享嵌入空间检索文本、图像和页面，实现跨模态查询。 两个模型均达到前沿性能，并已在 Hugging Face 上公开可用。 https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector
原文
We're releasing pplx-embed-v2-late, two late-interaction embedding models that retrieve text, images, and pages with a shared embedding space for cross-model querying. Both models achieve frontier performance and are publicly available on Hugging Face. https://www.perplexity.ai/hub/blog/multimodal-embeddings-beyond-a-single-vector
来源：Aravind Srinivas · x.com