# MT-Color – 上海交大联合哔哩哔哩推出的可控图像着色框架

- Link: https://paooo.com/aigc-news/18924/
- Published: 2026-06-08T11:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于扩散模型的实例级可控着色框架，支持文本+掩码精确控制每个对象颜色。
 * 像素级掩码注意力与实例文本引导，重点解决色彩溢出和颜色绑定错误。
 * 配套 GPT-Color 数据集，提升实例级注释质量，增强着色效果与视觉真实感。

## MT-Color是什么

MT-Color是上海交通大学联合哔哩哔哩推出的基于扩散模型的可控图像着色框架，基于用户
提供的实例感知文本和掩码实现精确的实例级图像着色。框架基于像素级掩码注意力机制防止
色彩溢出，用实例掩码和文本引导模块解决色彩绑定错误问题，用多实例采样策略增强实例
感知效果。MT-Color构建了GPT-Color数据集，提供高质量的实例级注释，支持更精细的图像
着色任务。MT-Color在色彩准确性和视觉质量上优于现有方法，生成的图像更符合人类视觉
感知。

阅读目录

 * [MT-Color是什么](https://paooo.com/aigc-news/18924/#mtcolor%e6%98%af%e4%bb%80%e4%b9%88)
 * [MT-Color的主要功能](https://paooo.com/aigc-news/18924/#mtcolor%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MT-Color的技术原理](https://paooo.com/aigc-news/18924/#mtcolor%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MT-Color的项目地址](https://paooo.com/aigc-news/18924/#mtcolor%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MT-Color的应用场景](https://paooo.com/aigc-news/18924/#mtcolor%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MT-Color](https://paooo.com/wp-content/uploads/2026/06/MT-Color-website-1.avif)

## MT-Color的主要功能

 * **精确的实例级着色**：根据用户提供的实例掩码和文本描述，对图像中的不同对象进行
   精确着色，确保每个对象的颜色与其描述一致。
 * **防止色彩溢出**：基于像素级掩码注意力机制，有效避免色彩在不同对象之间的错误扩散，
   保持颜色的边界清晰。
 * **高质量的色彩生成**：生成的彩色图像色彩丰富、自然，且分辨率高（512×512），细节
   更清晰。
 * **灵活的用户控制**：支持用户用文本描述和掩码对图像着色过程进行精细控制，满足不同
   的着色需求。
 * **数据集支持**：构建专门的GPT-Color数据集，提供高质量的实例级注释，支持更精细
   的图像着色任务。

## MT-Color的技术原理

 * **像素级掩码注意力机制**：将ControlNet提取的灰度图像特征与[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)
   的潜在特征通过像素级交叉注意力机制对齐，防止不同实例间的像素信息交换，缓解色彩
   溢出问题。用分割掩码构建交叉注意力掩码，确保像素信息在不同实例间不会相互干扰。
 * **实例掩码和文本引导模块**：提取每个实例的掩码和文本表示，与潜在特征基于自注意力
   机制融合，基于实例掩码形成自注意力掩码，防止实例文本引导其他区域的着色，减少色彩
   绑定错误。
 * **多实例采样策略**：在采样过程中，对每个实例区域分别进行采样，将结果融合，进一步
   增强实例感知的着色效果。
 * **GPT-Color数据集**：基于预训练的视觉语言模型（如GPT-4和BLIP-2）在现有的图像数据
   集上自动生成高质量的实例级注释，包括细粒度的文本描述和对应的分割掩码，为模型训练
   提供丰富的训练数据。

## MT-Color的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.08705](https://arxiv.org/pdf/2505.08705)

## MT-Color的应用场景

 * **历史照片修复**：为黑白历史照片添加生动色彩，增强观赏性和历史感。
 * **影视后期制作**：修复和增强黑白或低质量彩色镜头，提升视觉效果。
 * **艺术创作**：帮助艺术家为黑白草图或插画添加色彩，实现创意。
 * **医学图像处理**：为医学图像添加色彩，提高诊断价值。
 * **教育领域**：为教学材料中的黑白图像添加色彩，增强学习体验。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**哔哩哔哩 ↗**

哔哩哔哩高清视频解析下载工具是一个免费的B站视频在线解析提取工具,支持提取B站APP和
bilibili网站上的任

**哔哩哔哩 ↗**

哔哩哔哩（Bilibili）是一个集视频播放、直播、漫画、游戏、社区、电商等多功能于一体
的综合性在线娱乐与内容社

❓ 常见问题解答（FAQ）

MT-Color 适合做什么图像着色任务？

MT-Color 适合黑白照片、草图、插画等需要按对象精确上色的任务。它支持用户提供实例掩
码和文本描述，对不同对象分别控制颜色，尤其适合历史照片修复、影视后期和艺术创作场景。

MT-Color 为什么能减少颜色串色？

它通过像素级掩码注意力机制，将不同实例的特征对齐并限制交叉影响，避免颜色在对象之间
错误扩散。同时结合实例掩码和文本引导模块，降低颜色绑定错误。

GPT-Color 数据集在 MT-Color 中有什么作用？

GPT-Color 是 MT-Color 构建的实例级数据集，包含高质量文本描述和分割掩码。它为模型
训练提供更细粒度的监督信号，有助于提升实例感知能力和着色精度。

🔬 语宙深潜追问 · 进阶实操拆解

实例级上色如何避免串色？

核心是把掩码、文本提示和注意力约束绑定到单个实例，并在采样阶段限制颜色扩散。实践
中还要加入边界平滑和多候选筛选，减少相邻区域互相污染。

这类框架适合哪些生产场景？

适合漫画修复、老照片上色、影视资产预处理和内容创作工具。若要上线，最好提供局部重
绘、颜色锁定和人工微调接口，否则自动化结果很难满足专业审美。

🗳️ 读者观点微投票 · 您的实战立场是？

可控着色的核心难点是颜色绑定吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧩 所属权威专题：ComfyUI 与 SD 节点控图 →](https://paooo.com/topics/comfyui-stable-diffusion/)

 * [MagicColor – 香港科技大学推出的多实例线稿图着色框架](https://paooo.com/aigc-news/20486/)
 * [DDColor – 阿里推出的AI图像上色框架，将黑白图片变彩色](https://paooo.com/aigc-news/28406/)
 * [ColorFlow – 清华和腾讯共同推出的图像序列着色模型](https://paooo.com/aigc-news/24805/)
 * [T2I-R1 – 港中文联合上海AI Lab推出文生图模型](https://paooo.com/aigc-news/20040/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18924/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
