# PhotoVerse：无需任何额外的微调或调整 ，使用文本到图像扩散模型直接生成你想要的图像

- Link: https://paooo.com/ai-tool/4435/
- Published: 2023-09-13T17:42:40+08:00
- Author: OZ

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需额外微调或测试时调整，输入人脸照片与文本即可直接生成图像。
 * 双分支调节机制同时利用文本与面部照片，强化身份保留与可编辑性。
 * 可与 ControlNet 结合，兼顾高级结构控制、姿势控制与多样化风格生成。

PhotoVerse是一种文本到图像生成模型，它不需要进行任何额外的微调或调整。可以直接使用
文本输入生成您所期望的图像。该模型采用了扩散模型的方法，通过将文本描述转化为图像
来实现。

![PhotoVerse：无需任何额外的微调或调整 ，使用文本到图像扩散模型直接生成你想要的图像](
https://paooo.com/wp-content/uploads/2023/09/1694598013-image-jpg.webp)

特点：

 * 只需一张面部照片。
 * 无需在测试时进行调整。
 * 具有出色的身份保留和可编辑性。
 * 擅长生成多样化的图像，包括各种场景和风格。

PhotoVerse 是一种无需额外调整的图像生成方法，只需要一个人的面部照片即可。这意味着
它能够快速、高效地生成高质量的图像，并且节省资源。

该方法还支持与其他方法结合使用，例如 ControlNet (Zhang和Agrawala 2023)，特别是利用
其控制分支来保留整体的高级结构，进一步增强文本到图像生成的姿势控制。

经过广泛评估，这项技术不仅快速高效，而且生成的图片质量很高，能够满足各种个性化需求。

![PhotoVerse：无需任何额外的微调或调整 ，使用文本到图像扩散模型直接生成你想要的图像](
https://paooo.com/wp-content/uploads/2023/09/1694598045-image-jpg.webp)

PhotoVerse 的工作原理涉及双分支调节机制：它同时考虑文本描述和输入的面部照片来生成
图像，就像有两只眼睛，一只眼睛看着给定的照片，另一只眼睛听着描述。
为了确保生成的
图像与原始面部照片的身份一致，PhotoVerse 引入了面部身份损失作为一个新的组件。这有助
于在训练过程中增强身份的保留。与许多其他方法不同，PhotoVerse 无需在生成图像之前进行
微调或调整。这是因为它已经经过充分的训练，可以直接根据给定的文本描述和面部照片生成
图像。经过单一的训练阶段，PhotoVerse 能够在几秒钟内高效地生成高质量的图像。

![PhotoVerse：无需任何额外的微调或调整 ，使用文本到图像扩散模型直接生成你想要的图像](
https://paooo.com/wp-content/uploads/2023/09/1694598083-image-jpg.webp)

项目：[https://photoverse2d.github.io](https://t.co/Gr7xg5ESnY)
论文：[https://arxiv.org/abs/2309.05793](https://t.co/lBD5r36rHd)

❓ 常见问题解答（FAQ）

PhotoVerse 需要微调吗？

不需要。文章明确说明 PhotoVerse 无需额外微调或测试时调整，经过单一训练阶段后即可
直接根据文本描述和面部照片生成图像，使用门槛更低、效率更高。

PhotoVerse 适合做什么类型的图像生成？

它适合个性化人像与多样化场景生成。模型强调身份保留、可编辑性和风格多样性，能够在
保持人物特征的同时生成不同场景、姿势和风格的图像。

PhotoVerse 能和 ControlNet 一起用吗？

可以。文中提到 PhotoVerse 可与 ControlNet 结合，利用其控制分支保留整体高级结构，
进一步增强文本到图像生成中的姿势控制与结构稳定性。

🔬 语宙深潜追问 · 进阶实操拆解

一张照片如何保住身份特征？

关键是把人脸身份信息与文本语义解耦，训练时强化面部特征约束，推理时减少对身份敏感
区域的改动。实际使用中，尽量选清晰正脸照，并避免过强风格词覆盖人物特征。

怎么叠加 ControlNet 提升可控性？

先用 PhotoVerse 生成身份一致的基础图，再接入 ControlNet 控姿势、构图或边缘结构。
这样能兼顾“像本人”和“按你想要的姿态”，适合做头像、海报和角色设定图。

🗳️ 读者观点微投票 · 您的实战立场是？

PhotoVerse 免微调直出个性化图像，靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [字节跳动XVerse：革命性多主体图像生成模型，精准控制多人物/场景身份与风格](https://paooo.com/aigc-news/14589/)
 * [PhotoMaker V2 – 腾讯推出的AI图像生成框架](https://paooo.com/aigc-news/27658/)
 * [PhotoMaker – 腾讯等推出的AI人物生成和图片风格化工具](https://paooo.com/aigc-news/28447/)
 * [TokenVerse – DeepMind等机构推出的多概念个性化图像生成方法](https://paooo.com/aigc-news/22597/)

[🏛️ OZ](https://paooo.com/author/oz/) · Prompt 语宙主编，关注生成式 AI 产品工程化、
提示词体系设计与出海数字增长。

[📄 Markdown 纯净版](https://paooo.com/ai-tool/4435/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
