# SlideChat – 上海AI Lab联合多所高校和机构推出的视觉语言助手 - Link: https://paooo.com/aigc-news/25331/ - Published: 2026-07-13T08:48:29+08:00 - Author: Prompt 语宙研究院 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * 首个可理解千兆像素级全切片图像的视觉语言助手，面向病理场景做深度理解与对话。 * 采用SlideInstruction与SlideBench训练评测，覆盖21种临床任务，验证多任务临床能力。 * 通过切片分块、局部/幻灯片级编码与两阶段训练，实现WSI视觉特征与LLM对齐。 ## SlideChat是什么 SlideChat是上海AI实验室、厦门大学、华东师范大学等机构推出的，首个能理解千兆像素级别 全切片图像的视觉语言助手。SlideChat能生成详尽的全切片图像描述，针对多样化的病理场景 提供具有上下文关联的复杂指令响应。基于训练，SlideChat在多个临床任务中展现出卓越的 性能，包括显微镜检查、诊断等。SlideChat用大规模的多模态指令数据集SlideInstruction 和评估基准SlideBench，后者包含多个子集，覆盖21种不同的临床任务。 阅读目录 * [SlideChat是什么](https://paooo.com/aigc-news/25331/#slidechat%e6%98%af%e4%bb%80%e4%b9%88) * [SlideChat的主要功能](https://paooo.com/aigc-news/25331/#slidechat%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [SlideChat的技术原理](https://paooo.com/aigc-news/25331/#slidechat%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [SlideChat的项目地址](https://paooo.com/aigc-news/25331/#slidechat%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [SlideChat的应用场景](https://paooo.com/aigc-news/25331/#slidechat%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![SlideChat](https://paooo.com/wp-content/uploads/2026/07/SlideChat-website-1.avif) ## SlideChat的主要功能 * **全切片图像理解**：处理和理解千兆像素级别的全切片病理图像（WSIs），提供对图像 的深入分析。 * **多模态对话能力**：支持与用户进行多模态对话，理解自然语言指令，结合视觉信息提供 响应。 * **复杂指令响应**：响应和执行复杂的视觉查询和病理学相关的指令。 * **临床任务覆盖**：在多种临床设置中，如显微镜检查和诊断，展现出卓越的性能，覆盖 21种不同的临床任务。 ## SlideChat的技术原理 * **图像分割**：将全切片图像分割成224×224像素的小块（patches），便于计算处理。 * **局部编码器**：每个图像块基于局部编码器转换为视觉嵌入，捕获局部特征。 * **幻灯片级编码器**：用幻灯片级编码器处理局部编码器的输出，生成包含全局上下文信息 的上下文嵌入。 * **多模态投影**：多模态投影器将视觉特征映射到与大型语言模型（LLM）对齐的统一空间。 * **两阶段训练**： - **跨域对齐**：在第一阶段，模型学习将LLM的词嵌入与从WSI提取的视觉特征对齐。 - **视觉指令学习**：在第二阶段，模型学习如何准确响应特定于WSI的领域问题。 ## SlideChat的项目地址 * **项目官网**：[uni-medical.github.io/SlideChat.github.io](https://uni-medical.github.io/SlideChat.github.io/?utm_source=ai-bot.cn) * **HuggingFace模型库**：[https://huggingface.co/datasets/General-Medical-AI/SlideBench](https://huggingface.co/datasets/General-Medical-AI/SlideBench) * **arXiv技术论文**：[https://arxiv.org/pdf/2410.11761](https://arxiv.org/pdf/2410.11761) ## SlideChat的应用场景 * **病理诊断辅助**：帮助病理学家分析和解释全切片图像，辅助诊断各种疾病，包括癌症 等严重病理状况。 * **教育和培训**：在医学教育中，作为教学工具，帮助学生和住院医师学习如何解读病理 切片，提高诊断技能。 * **研究和开发**：研究人员探索新的生物标志物，进行疾病亚型分类，及预测疾病进展和 患者预后。 * **临床决策支持**：集成到临床工作流程中，提供实时的病理分析，帮助医生做出更准确 的治疗决策。 * **质量控制和标准化**：在病理实验室中，确保诊断的一致性和准确性，基于自动化分析 减少人为错误。 🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航） **HuggingFace ↗** HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大 模型等实用方向。 ❓ 常见问题解答（FAQ） SlideChat主要解决什么问题？ SlideChat面向病理全切片图像（WSI）理解，能生成详尽图像描述并回答复杂病理指令，帮助 病理学家、研究人员和临床医生更高效地分析切片、辅助诊断与决策。 SlideChat为什么适合病理场景？ 它专门处理千兆像素级全切片图像，先分块再做局部与全局编码，并通过多模态对齐让模型 理解病理视觉信息，因此更适合显微镜检查、诊断和临床任务。 SlideChat的评测表现体现在哪些方面？ 文章提到它在多个临床任务中表现卓越，SlideBench覆盖21种不同临床任务，可用于评估其 在显微镜检查、诊断等病理应用中的综合能力。 🔬 语宙深潜追问 · 进阶实操拆解 SlideChat这类模型部署要注意什么？ 重点是超大图像切块、坐标对齐和病理术语约束。临床场景还要做可追溯证据定位、误报控制 和医生复核流程，避免模型只会“描述”却不能支撑决策。 全切片视觉语言模型如何评估真实价值？ 不能只看描述流畅度，要看任务级指标，如检出率、漏诊率、定位准确率和报告一致性。最好 用回顾性病例集加前瞻性工作流测试，验证是否真正缩短阅片时间。 🗳️ 读者观点微投票 · 您的实战立场是？ 病理全切片AI，最该先落地诊断还是科研？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/) * [HealthGPT – 浙大联合阿里等机构推出的医学视觉语言模型](https://paooo.com/aigc-news/21728/) * [浦语灵笔 – 开源的多模态大模型，性能媲美GPT-4V](https://paooo.com/aigc-news/27372/) * [QVQ-72B-Preview – 阿里通义开源的多模态推理模型](https://paooo.com/aigc-news/22544/) * [EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型](https://paooo.com/aigc-news/24523/) [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/25331/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)