LBM是什么
LBM(Latent Bridge Matching)是Jasper Research团队推出的新型图像到图像转换框架,基于在潜在空间中构建桥匹配实现快速高效的图像转换。LBM仅需单步推理完成任务,适用多种图像转换场景,如目标移除、重打光、深度和法线估计等。LBM用布朗桥在源图像和目标图像之间建立随机路径,增加样本多样性。条件框架能实现可控的阴影生成和图像重光照。LBM在多项任务中达到或超越现有方法的最佳性能,展现出强大的通用性和高效性。

LBM的主要功能
- 目标移除:从图像中移除指定对象及其相关阴影,保持背景的完整性。
- 图像重光照:根据给定的背景或光照条件重新照亮前景对象,去除现有阴影和反射。
- 图像修复:将退化图像转换为干净图像,恢复图像的原始质量。
- 深度/法线图生成:将输入图像转换为深度图或法线图,用在3D重建等任务。
- 可控阴影生成:根据光源的位置、颜色和强度生成阴影,增强图像的真实感。
LBM的技术原理
- 潜在空间编码:将源图像和目标图像编码到一个低维的潜在空间,减少计算成本提高模型的可扩展性。
- 布朗桥(Brownian Bridge):在潜在空间中构建一条随机路径(布朗桥),连接源图像和目标图像的潜在表示。随机性支持模型生成多样化的样本。
- 随机微分方程(SDE):基于求解随机微分方程(SDE)预测路径上的潜在表示,实现从源图像到目标图像的转换。
- 条件框架:引入额外的条件变量(如光照图),LBM能实现可控的图像重光照和阴影生成。
- 像素损失:在训练过程中,用像素损失(如LPIPS)优化模型,确保生成的图像与目标图像在视觉上的一致性。
LBM的项目地址
- 项目官网:https://gojasper.github.io/latent-bridge-matching/
- GitHub仓库:https://github.com/gojasper/LBM
- arXiv技术论文:https://arxiv.org/pdf/2503.07535
- 在线体验Demo:https://huggingface.co/spaces/jasperai/LBM
LBM的应用场景
- 普通用户:日常照片编辑,移除多余物体、修复老照片、调整光照。
- 摄影爱好者:后期处理,增强照片真实感,添加或调整阴影。
- 平面设计师:创意设计,生成深度/法线图,快速修复和调整图像。
- 视频编辑师:视频制作,修复视频帧,调整对象光照和阴影。
- 3D建模师:从照片生成深度/法线图,辅助3D建模。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
LBM适合做哪些图像处理任务?
LBM可用于目标移除、图像重打光、图像修复、深度/法线图生成,以及可控阴影生成等任务,适合照片编辑、后期处理和3D相关工作流。
LBM为什么能实现可控阴影生成?
LBM在条件框架中引入光照图等额外条件变量,模型可根据光源位置、颜色和强度调整阴影与重光照效果,从而提升可控性与真实感。
LBM相比传统图像转换方法有什么优势?
LBM基于潜在空间桥匹配,只需单步推理即可完成转换,计算更高效;同时在多项任务中达到或超越现有方法,兼顾速度、通用性和效果。
🔬 语宙深潜追问 · 进阶实操拆解
LBM单步转换适合替代传统修图吗?
适合做高频、规则明确的图像编辑任务,比如去物体、补光和阴影控制;但对极端复杂场景,仍需要人工精修。最好的用法是把它当作快速初稿引擎,再接后处理保证一致性。
阴影可控后最值得扩展什么能力?
最自然的扩展是光照方向、材质反射和场景深度联动控制,这样能从“改阴影”走向“改整体光场”。如果只做单点编辑,价值有限;若能联动多属性,才更适合生产级工作流。
🗳️ 读者观点微投票 · 您的实战立场是?
可控阴影生成会先落地在哪类场景?
