# MMedAgent – 专为医疗领域设计的多模态AI智能体，管理多种医疗任务 - Link: https://paooo.com/aigc-news/23465/ - Published: 2026-06-09T16:07:43+08:00 - Author: 站外新闻 ## MMedAgent是什么 MMedAgent是专为医疗领域设计的多模态AI智能体，通过整合各种开源医疗模型来管理多种医疗 任务。系统包括一个指令调整的多模态大型语言模型（MLLM），作为行动规划器和结果聚合 器，以及一套为代理量身定制的医疗工具集合，每个工具都针对医疗领域的特定任务。MMedAgent 能处理包括MRI、CT、X射线等多种医学成像模式，支持临床实践中遇到的多种数据类型。通过 理解用户指令和医学影像，生成格式化指令调用特定工具，聚合工具的输出以准确、全面地 回复用户。MMedAgent在多个医疗任务上的性能优于现有的开源方法，甚至超过了闭源模型GPT- 4o。 阅读目录 * [MMedAgent是什么](https://paooo.com/aigc-news/23465/#mmedagent%e6%98%af%e4%bb%80%e4%b9%88) * [MMedAgent的主要功能](https://paooo.com/aigc-news/23465/#mmedagent%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [MMedAgent的技术原理](https://paooo.com/aigc-news/23465/#mmedagent%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [MMedAgent的项目地址](https://paooo.com/aigc-news/23465/#mmedagent%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [MMedAgent的应用场景](https://paooo.com/aigc-news/23465/#mmedagent%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![](https://paooo.com/wp-content/uploads/2026/06/MMedAgent-website-1.avif) ## MMedAgent的主要功能 * **多模态任务处理**：MMedAgent能处理包括接地、分割、分类、医学报告生成（MRG）和 检索增强生成（RAG）在内的多种语言和多模态任务。 * **医疗影像支持**：系统支持多种医学成像模式，如MRI、CT和X射线，适应临床实践中遇到 的各种数据类型。 * **工具集成与调用**：MMedAgent集成了多个工具，涵盖七个代表性的医疗任务，能根据 用户指令选择合适的工具进行调用。 * **指令微调**：MMedAgent通过创建指令调整数据集，训练多模态大型语言模型（MLLM） 作为动作规划器，理解和执行用户指令。 * **结果聚合**：MLLM作为结果聚合器，将工具的输出与用户的指令和图像结合，生成最终 答案。 * **端到端训练**：MMedAgent通过自回归目标对生成的序列进行端到端训练，确保模型能 使用正确的工具并根据工具结果回答问题。 ## MMedAgent的技术原理 * **系统架构**：MMedAgent由两个主要部分组成： - 一个指令调整的多模态大型语言模型（MLLM），作为行动规划器和结果聚合器。 - 为代理量身定制的医疗工具集合，每个工具都针对医疗领域的特定任务。 * **工作流程**：MMedAgent的工作流程包括四个步骤： - 用户提供指令和医疗图像。 - MLLM理解指令和图像，生成格式化指令以调用特定工具。 - 执行工具并返回结果。 - MLLM将工具的输出与用户指令和图像结合，生成最终答案。 * **指令微调**：MMedAgent采用统一的对话格式来确保其作为行动规划器和结果聚合器的 角色。在接收到用户输入后，MMedAgent生成三个部分： - Thought（思想）：确定是否需要外部工具。 - API Name和API Params（API名称和参数）：API调用的名称和参数。 - Value（价值）：由MLLM聚合的工具输出和自然语言响应。 * **自回归目标训练**：MMedAgent通过自回归目标对生成的序列进行端到端训练，确保模型 能够使用正确的工具并根据工具的结果回答问题。 ## MMedAgent的项目地址 * **Github仓库**：[https://github.com/Wangyixinxin/MMedAgent](https://github.com/Wangyixinxin/MMedAgent) * **arXiv技术论文**：[https://arxiv.org/pdf/2407.02483](https://arxiv.org/pdf/2407.02483) ## MMedAgent的应用场景 * **视觉问答（VQA）**：MMedAgent能处理与医学影像相关的问题，提供基于图像内容的答案， 支持MRI、CT、X射线、组织学和大体病理学等多种影像模态。 * **分类任务**：通过使用BiomedCLIP工具，MMedAgent能进行零样本和细粒度的医学图像 分类。 * **定位和分割任务**：MMedAgent集成了Grounding DINO和MedSAM工具，用于医学影像中的 定位和分割任务，包括基于边界框提示的分割（Segmentation）和基于文本提示的分割（ G-Seg）。 * **医学报告生成（MRG）**：利用ChatCAD工具，MMedAgent能从胸部X光图像中生成准确的 医学报告。 * **检索增强生成（RAG）**：MMedAgent通过ChatCAD+工具，能从外部数据源获取最相关的 信息，支持医疗检索过程。 * **跨模态医学任务处理**：MMedAgent能无缝利用各种医疗工具来处理跨不同成像模态的 广泛医学任务。