# MMSearch – 评估大型多模态AI搜索引擎能力的基准测试工具

- Link: https://paooo.com/aigc-news/26499/
- Published: 2026-07-09T03:45:41+08:00
- Author: 站外新闻

## MMSearch是什么

MMSearch是一个用于评估大型多模态模型（LMMs）作为AI搜索引擎能力的基准测试。包括一个
MMSearch-Engine框架和MMSearch测试集，后者包含300个问题，涵盖14个子领域。MMSearch-
Engine框架通过问题重构、网页排序和答案总结三个阶段增强LMMs的搜索能力。测试集分为
新闻和知识两大类别，确保测试内容与LMMs的训练数据不重叠，提供公平的评估。实验表明，
GPT-4o模型在MMSearch基准测试中表现优异，超越商业产品Perplexity Pro。研究发现，增加
测试时的计算量比增[大模型](https://paooo.com/ai-study/)规模更有效。

阅读目录

 * [MMSearch是什么](https://paooo.com/aigc-news/26499/#mmsearch%e6%98%af%e4%bb%80%e4%b9%88)
 * [MMSearch的主要功能](https://paooo.com/aigc-news/26499/#mmsearch%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MMSearch的技术原理](https://paooo.com/aigc-news/26499/#mmsearch%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MMSearch的项目地址](https://paooo.com/aigc-news/26499/#mmsearch%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MMSearch的应用场景](https://paooo.com/aigc-news/26499/#mmsearch%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MMSearch](https://paooo.com/wp-content/uploads/2026/07/MMSearch-website-1.avif)

## MMSearch的主要功能

 * **多模态搜索能力评估**：MMSearch旨在评估大型多模态模型（LMMs）在处理包含图像和
   文本的复杂查询时的搜索能力。
 * **问题重构**：将用户的原始查询转换为适合搜索引擎处理的格式。
 * **网页排序**：从搜索引擎获取的结果中选择最相关的网页。
 * **答案总结**：从选定的网页内容中提取并总结答案。

## MMSearch的技术原理

 * **MMSearch-Engine框架**：
    - **问题重构（Requery）**：基于LMMs理解用户查询的意图，并转化为搜索引擎能理解
      的格式。如果查询包含图像，还会用Google Lens等工具识别图像中的关键信息。
    - **网页排序（Rerank）**：用LMMs对搜索引擎返回的结果进行重新排序，确定哪些网页
      最有可能包含正确答案。
    - **答案总结（Summarization）**：从选定的网页中提取相关信息，并总结成答案。
 * **数据集设计**：MMSearch包含300个手动收集的查询实例，涵盖新闻和知识两大领域，
   确保与LMMs的训练数据不重叠。
 * **评估策略**：通过端到端任务和单独的任务（问题重构、网页排序、答案总结）评估LMMs
   的性能。

## MMSearch的项目地址

 * **项目官网**：[mmsearch.github.io](https://mmsearch.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/CaraJ7/MMSearch](https://github.com/CaraJ7/MMSearch)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/CaraJ/MMSearch](https://huggingface.co/datasets/CaraJ/MMSearch)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.12959](https://arxiv.org/pdf/2409.12959)

## MMSearch的应用场景

 * **学术研究**：研究人员用MMSearch评估和比较不同大型多模态模型在处理包含图像和文本
   的复杂查询时的性能。
 * **搜索引擎优化**：搜索引擎开发者用MMSearch的框架和评估方法改进搜索引擎的算法，
   更好地理解和回应用户的多模态查询。
 * **智能助手**：在开发智能助手或聊天机器人时，MMSearch提升助手对用户输入的图像和
   文本信息的理解和回应能力。
 * **内容推荐系统**：内容推荐平台用MMSearch的技术原理更准确地分析用户查询意图，从而
   提供更相关的推荐内容。
 * **教育和培训**：教育工具集成MMSearch的评估方法设计课程和训练材料，帮助学生更好
   地理解多模态信息检索的概念。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)