---
title: "Florence-VL – 微软和马里兰大学共同开源的多模态大语言模型"
url: "https://paooo.com/aigc-news/24999/"
author: "Prompt 语宙研究院"
published_at: "2026-07-11T03:48:29+08:00"
updated_at: "2026-07-11T03:48:29+08:00"
categories: "AIGC 资讯"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Florence-VL – 微软和马里兰大学共同开源的多模态大语言模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/24999/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-11

## Florence-VL是什么

Florence-VL是创新的多模态大型语言模型（MLLMs），是马里兰大学和微软研究院共同推出的。Florence-VL用生成式视觉基础模型Florence-2丰富视觉表示，能捕捉图像的不同层次和方面的视觉特征，适应多样的下游任务。Florence-VL引进深度-广度融合（DBFusion）技术，将不同深度和多个提示下提取的视觉特征，实现视觉与语言理解的深度融合。

## Florence-VL的主要功能

- **多模态理解**：Florence-VL能理解和处理图像与文本数据，实现视觉与语言的深度融合。

- **视觉特征提取**：用Florence-2模型，从图像中提取丰富的视觉特征。

- **深度-广度融合（DBFusion）**：结合不同层次（深度）和不同任务提示（广度）的视觉特征，适应多种下游任务。

- **性能提升**：在多个多模态和视觉中心的基准测试中实现性能提升，包括VQA、OCR、图像描述等。

## Florence-VL的技术原理

- **生成式视觉编码器**：用Florence-2作为视觉编码器，基于不同的任务提示生成视觉特征，适用于多种视觉任务。

- **特征融合架构**：引进新颖的特征融合架构，将从Florence-2提取的视觉特征与预训练的语言模型相结合。

- **深度-广度融合（DBFusion）**：

**深度**：整合来自不同层次的视觉特征，捕捉从低级到高级的概念细节。

- **广度**：用多个任务特定的视觉特征，每个特征强调输入图像中的不同感知信息。

- **端到端预训练**：整个模型进行端到端预训练，实现视觉和语言模态之间的最佳对齐。

- **微调**：在预训练后，对投影层和语言模型进行微调，适应特定的下游任务。

## Florence-VL的项目地址

- **项目官网**：[jiuhaichen.github.io/florence-vl](https://jiuhaichen.github.io/florence-vl.github.io/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/JiuhaiChen/Florence-VL](https://github.com/JiuhaiChen/Florence-VL)

- **arXiv技术论文**：[https://arxiv.org/pdf/2412.04424](https://arxiv.org/pdf/2412.04424)

## Florence-VL的应用场景

- **研究人员和科学家**：在人工智能、计算机视觉和自然语言处理领域的学者和研究人员探索新的算法、模型架构和多模态学习技术。

- **软件开发者**：开发者增强应用程序，比如通过图像识别和处理功能提升用户体验。

- **数据分析师**：在金融、市场研究等领域，数据分析师分析和理解图表数据，提取有价值的信息。

- **教育工作者**：教师和教育技术专家创建互动式教育内容，辅助学生学习和理解复杂概念。

- **内容创作者**：作家、记者和内容制作者生成图像描述或为图像内容创作提供灵感。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)