---
title: "SlideChat – 上海AI Lab联合多所高校和机构推出的视觉语言助手"
url: "https://paooo.com/aigc-news/25331/"
author: "Prompt 语宙研究院"
published_at: "2026-07-13T08:48:29+08:00"
updated_at: "2026-07-13T08:48:29+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# SlideChat – 上海AI Lab联合多所高校和机构推出的视觉语言助手

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25331/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-13

## AI 30 秒核心看点 (TL;DR)

- 首个可理解千兆像素级全切片图像的视觉语言助手，面向病理场景做深度理解与对话。
- 采用SlideInstruction与SlideBench训练评测，覆盖21种临床任务，验证多任务临床能力。
- 通过切片分块、局部/幻灯片级编码与两阶段训练，实现WSI视觉特征与LLM对齐。

## SlideChat是什么

SlideChat是上海AI实验室、厦门大学、华东师范大学等机构推出的，首个能理解千兆像素级别全切片图像的视觉语言助手。SlideChat能生成详尽的全切片图像描述，针对多样化的病理场景提供具有上下文关联的复杂指令响应。基于训练，SlideChat在多个临床任务中展现出卓越的性能，包括显微镜检查、诊断等。SlideChat用大规模的多模态指令数据集SlideInstruction和评估基准SlideBench，后者包含多个子集，覆盖21种不同的临床任务。

## SlideChat的主要功能

- **全切片图像理解**：处理和理解千兆像素级别的全切片病理图像（WSIs），提供对图像的深入分析。

- **多模态对话能力**：支持与用户进行多模态对话，理解自然语言指令，结合视觉信息提供响应。

- **复杂指令响应**：响应和执行复杂的视觉查询和病理学相关的指令。

- **临床任务覆盖**：在多种临床设置中，如显微镜检查和诊断，展现出卓越的性能，覆盖21种不同的临床任务。

## SlideChat的技术原理

- **图像分割**：将全切片图像分割成224×224像素的小块（patches），便于计算处理。

- **局部编码器**：每个图像块基于局部编码器转换为视觉嵌入，捕获局部特征。

- **幻灯片级编码器**：用幻灯片级编码器处理局部编码器的输出，生成包含全局上下文信息的上下文嵌入。

- **多模态投影**：多模态投影器将视觉特征映射到与大型语言模型（LLM）对齐的统一空间。

- **两阶段训练**：

**跨域对齐**：在第一阶段，模型学习将LLM的词嵌入与从WSI提取的视觉特征对齐。

- **视觉指令学习**：在第二阶段，模型学习如何准确响应特定于WSI的领域问题。

## SlideChat的项目地址

- **项目官网**：[uni-medical.github.io/SlideChat.github.io](https://uni-medical.github.io/SlideChat.github.io/?utm_source=ai-bot.cn)

- **HuggingFace模型库**：[https://huggingface.co/datasets/General-Medical-AI/SlideBench](https://huggingface.co/datasets/General-Medical-AI/SlideBench)

- **arXiv技术论文**：[https://arxiv.org/pdf/2410.11761](https://arxiv.org/pdf/2410.11761)

## SlideChat的应用场景

- **病理诊断辅助**：帮助病理学家分析和解释全切片图像，辅助诊断各种疾病，包括癌症等严重病理状况。

- **教育和培训**：在医学教育中，作为教学工具，帮助学生和住院医师学习如何解读病理切片，提高诊断技能。

- **研究和开发**：研究人员探索新的生物标志物，进行疾病亚型分类，及预测疾病进展和患者预后。

- **临床决策支持**：集成到临床工作流程中，提供实时的病理分析，帮助医生做出更准确的治疗决策。

- **质量控制和标准化**：在病理实验室中，确保诊断的一致性和准确性，基于自动化分析减少人为错误。

## 常见问题解答 (FAQ)

### SlideChat主要解决什么问题？
SlideChat面向病理全切片图像（WSI）理解，能生成详尽图像描述并回答复杂病理指令，帮助病理学家、研究人员和临床医生更高效地分析切片、辅助诊断与决策。

### SlideChat为什么适合病理场景？
它专门处理千兆像素级全切片图像，先分块再做局部与全局编码，并通过多模态对齐让模型理解病理视觉信息，因此更适合显微镜检查、诊断和临床任务。

### SlideChat的评测表现体现在哪些方面？
文章提到它在多个临床任务中表现卓越，SlideBench覆盖21种不同临床任务，可用于评估其在显微镜检查、诊断等病理应用中的综合能力。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)