Follow-Your-Canvas是什么
Follow-Your-Canvas 是由腾讯混元团队与清华大学等机构合作推出的一种高分辨率视频扩展技术。通过分布式处理和布局对齐两个核心设计，将视频内容扩展到任意分辨率，保持与原视频的无缝衔接和高质量内容生成。适用于高分辨率视频的扩展，能克服 GPU 内存限制，处理大规模视频外绘任务，在各种分辨率和宽高比配置中实现最佳效果。
阅读目录
Follow-Your-Canvas的主要功能
- 高分辨率输出：将视频内容扩展到任意分辨率，例如从4K扩展到8K或更高。
- 不受显存大小限制：处理大规模视频外延任务，不会受到显存大小的限制。
- 时空一致性：在扩展过程中，保持视频的空间和时间一致性，确保最终输出的视频质量与原视频风格一致。
- 生成丰富新内容：在指定的扩展区域生成与原视频风格一致的新内容，提升整体视觉效果。
- 大规模视频外延：在大规模视频外延方面表现出色，例如将512×512分辨率的视频扩展到1152×2048（约9倍）分辨率。
Follow-Your-Canvas的技术原理
- 空间窗口分割：视频被分割成多个空间窗口，每个窗口独立进行内容生成，然后无缝合并，能处理任意大小和分辨率的视频而不受 GPU 内存限制。
- 布局编码器（Layout Encoder）：通过布局编码器提取源视频的全局布局信息，注入到每个窗口的生成过程中，确保新生成的内容与原视频布局协调一致。
- 相对区域嵌入（Relative Region Embedding, RRE）：提供源视频与目标窗口之间的相对位置关系，进一步指导每个窗口的生成过程，生成与原视频布局相协调的扩展内容，提高空间和时间一致性。
- 分布式生成：在多个 GPU 上并行处理各个窗口的内容生成，最后将生成的窗口无缝合并成最终的视频。
Follow-Your-Canvas的项目地址
- 项目官网：follow-your-canvas.github.io
- GitHub仓库：https://github.com/mayuelala/FollowYourCanvas
- arXiv技术论文：https://arxiv.org/pdf/2409.01055
Follow-Your-Canvas的应用场景
- 视频尺寸调整：将手机拍摄的竖屏视频扩展为横屏，适应不同的播放需求，例如在社交媒体上的展示或在宽屏电视上的观看。
- 超宽屏视频生成：将普通视频扩展为超宽屏视频，提供更广阔的视野，适用于电影院或超宽屏显示器的播放。
- 全景视频制作：基于视频扩展技术，将普通视频转换为全景视频，增强观看体验，适用于虚拟现实(VR)和360度视频制作。
- 高分辨率视频输出：能处理高达16K分辨率的视频输出，适用于需要高清晰度视频的场合，如电影制作或高质量广告片
🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）
❓ 常见问题解答（FAQ）
Follow-Your-Canvas 主要解决什么问题？
它主要解决高分辨率视频扩展时的显存限制与一致性问题。通过分布式处理、空间窗口分割和布局对齐，能把视频扩展到任意分辨率，同时尽量保持原视频风格、结构和时空连续性。
Follow-Your-Canvas 为什么能不受显存大小限制？
因为它把视频拆成多个空间窗口分别生成，再在多 GPU 上并行处理，最后无缝合并结果。这样就能降低单卡显存压力，适合大规模视频外绘和超高分辨率扩展。
Follow-Your-Canvas 适合哪些视频应用场景？
适合竖屏转横屏、超宽屏视频生成、全景视频制作和高分辨率输出等场景。尤其适用于需要保持画面连贯性、同时又要提升分辨率和画幅的内容制作任务。
🔬 语宙深潜追问 · 进阶实操拆解
任意分辨率外绘怎么保证一致性？
关键是把布局约束、时序约束和局部生成拆开处理，再通过跨块对齐与边界融合维持连续性。实践中要重点检查接缝、运动漂移和主体比例失真。
哪些项目最适合先试用？
适合超清广告、长视频补帧式扩展、虚拟制作和大屏内容生成。若目标是 4K/8K 级输出且原始素材布局明确，它的收益通常比传统单机扩散更明显。
🗳️ 读者观点微投票 · 您的实战立场是？
高分辨率视频外绘，真能摆脱显存瓶颈吗？
