# SHMT – 阿里达摩院联合武汉理工等机构推出的自监督化妆转移技术

- Link: https://paooo.com/aigc-news/22762/
- Published: 2026-06-09T06:18:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需成对训练数据，SHMT 仍能实现高质量、自然的化妆风格迁移。
 * 拉普拉斯金字塔分层处理妆容细节，IDA 模块可动态修正对齐误差。
 * 适合虚拟试妆、社交滤镜、角色妆容设计与个性化广告制作。

## SHMT是什么

SHMT（Self-supervised Hierarchical Makeup Transfer）是阿里巴巴达摩院与武汉理工大学
等机构联合研发的先进自监督化妆转移技术。技术通过潜在扩散模型实现，能在无需成对训练
数据的情况下，将各种化妆风格自然地应用到目标面部图像上。SHMT采用“解耦-重建”策略，
结合拉普拉斯金字塔和迭代双重对齐模块，实现了对不同化妆风格下纹理细节的灵活控制和
对齐误差的动态校正，显著提升了化妆转移的效果和保真度。主要优点在于能处理复杂的面部
特征和表情变化，提供高质量的迁移效果。

阅读目录

 * [SHMT是什么](https://paooo.com/aigc-news/22762/#shmt%e6%98%af%e4%bb%80%e4%b9%88)
 * [SHMT的主要功能](https://paooo.com/aigc-news/22762/#shmt%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SHMT的技术原理](https://paooo.com/aigc-news/22762/#shmt%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SHMT的项目地址](https://paooo.com/aigc-news/22762/#shmt%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SHMT的应用场景](https://paooo.com/aigc-news/22762/#shmt%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SHMT – 阿里达摩院联合武汉理工等机构推出的自监督化妆转移技术 - 配图](https://paooo.
com/wp-content/uploads/2026/06/SHMT-website-1.avif)

## SHMT的主要功能

 * **高效迁移：**在处理多种化妆风格时保持高效和高质量，能将多样化的妆容风格自然且
   精准地应用于给定的面部图像。
 * **动态对齐校正：**通过迭代双重对齐（IDA）模块，在每个去噪步骤中动态调整注入条件，
   纠正由内容和化妆表示之间的域间隙引起的对齐错误。
 * **多样化应用：**适用于图像处理、风格迁移、计算机视觉等多个领域，如电商平台的线上
   试妆等。

## SHMT的技术原理

 * **自监督学习：**SHMT采用自监督策略进行模型训练，遵循“解耦-重建”范式，不依赖质量
   欠佳的伪造参考数据，避免了错误指导模型的问题。通过解耦和重构的方式，使模型能在
   没有标注数据的情况下进行有效学习。
 * **层次化纹理细节处理：**该技术将化妆过程分解为多个层次，包括底妆、眼妆、唇妆等。
   不同妆容细节通过拉普拉斯金字塔的方法分层分解，再选择性地融入到人脸的内容表示中，
   这样能更灵活地适应各种妆容风格。
 * **动态校正对齐误差：**通过迭代双重对齐模块（IDA），动态调整扩散模型中的妆容注入
   过程，逐步修正人脸内容和妆容风格之间的“对不上”的问题。在每个去噪步骤中，IDA利用
   噪声中间结果，动态调整注入条件，修正对齐误差。

## SHMT的项目地址

 * **Github仓库**：[https://github.com/Snowfallingplum/SHMT](https://github.com/Snowfallingplum/SHMT)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.11058](https://arxiv.org/pdf/2412.11058)

## SHMT的应用场景

 * **社交媒体美容滤镜：**SHMT可以应用于社交媒体平台，为用户提供实时的美容滤镜效果，
   让用户在发布照片前预览不同的化妆风格。增加了用户的互动性和趣味性，提升平台的用户
   体验。
 * **虚拟试妆应用：**在电子商务领域，SHMT技术可以集成到虚拟试妆应用中，让顾客在线上
   试戴各种化妆品，提高购物体验。用户可以通过上传自己的照片，选择不同的妆容风格，
   实时预览效果。
 * **电影和游戏角色设计：**在娱乐产业，SHMT可以用于快速更换或设计电影和游戏中角色
   的妆容，提高制作效率。这不仅节省了时间和成本，还能为角色设计提供更多的创意和灵活
   性。
 * **个性化广告制作：**广告行业可以用SHMT技术，根据目标受众的偏好定制模特的妆容，
   使广告更加吸引人。通过个性化的妆容设计，广告能更好地吸引目标受众，提高广告的转化
   率。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**达摩院 ↗**

达摩院：阿里巴巴旗下研究院，面向AI 综合应用场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

SHMT化妆转移技术有什么优势？

SHMT的核心优势是自监督训练、无需成对数据，并通过“解耦-重建”与迭代双重对齐提升迁移
自然度。它能更好保留人脸内容，同时把底妆、眼妆、唇妆等风格细节自然融入目标图像。

SHMT适合做虚拟试妆吗？

适合。文章明确提到它可用于电商虚拟试妆和社交媒体美容滤镜，支持将不同化妆风格应用
到用户照片上，便于在线预览妆容效果，提升互动性与购物体验。

SHMT为什么不需要成对训练数据？

因为它采用自监督学习和“解耦-重建”范式，不依赖质量欠佳的伪造参考数据。模型通过分层
分解妆容细节并在去噪过程中动态校正对齐误差，从而完成有效学习。

🔬 语宙深潜追问 · 进阶实操拆解

SHMT如何处理表情和姿态偏差？

关键是先解耦身份、表情和妆容，再做重建与对齐。落地时可结合关键点约束、局部区域重
加权和多尺度金字塔，优先保证眼唇等高敏感区域稳定，减少大表情下的妆容漂移。

自监督妆容迁移怎么评估更可靠？

不要只看视觉效果，建议同时评估妆容一致性、身份保持和表情鲁棒性。可用局部区域相似
度、身份特征距离及用户盲测结合，特别关注复杂光照、侧脸和夸张表情下的稳定性。

🗳️ 读者观点微投票 · 您的实战立场是？

无配对数据做妆容迁移靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [FacePoke – 开源的实时面部编辑工具，拖拽操作面部表情](https://paooo.com/aigc-news/21570/)
 * [FlashFace – 阿里联合香港大学推出的高保真AI写真工具](https://paooo.com/aigc-news/27650/)
 * [MimicBrush – 阿里等开源的AI图像编辑融合框架](https://paooo.com/aigc-news/27837/)
 * [[AI生图咒语] 高端美妆试镜模特四宫格写真](https://paooo.com/ai-image-prompts/37005/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22762/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
