清华姚班校友发布首个多模态嵌入模型,「多模态检索」SOTA

Voyage-multimodal-3在多模态检索任务中表现优异,比现有模型提高19.63%的检索准确率,支持复杂布局的PDF、截图等矢量化处理;模型基于统一Transformer编码器处理交错文本和图像,克服模态差距问题,实现更高的混合模态检索准确性;在表格、文档截图和文本检索任务中分别超越OpenAI CLIP等主流模型20%-45%,简化了非结构化数据处理流程。

搜索