Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Perception-as-Control – 阿里通义实验室推出的图像动画框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Perception-as-Control – 阿里通义实验室推出的图像动画框架
Prompt 语宙 > AIGC 资讯 > Perception-as-Control – 阿里通义实验室推出的图像动画框架
AIGC 资讯

Perception-as-Control – 阿里通义实验室推出的图像动画框架

Prompt 语宙研究院
最近更新: 2026年6月9日 上午10:46
3D与空间智能 AI视频生成 通义千问
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于3D感知运动表示,把相机与物体运动转成直观一致的视觉控制信号。
  • 采用U-Net扩散模型与双编码器设计,兼顾参考图像外观保真和运动可控性。
  • 支持运动生成、克隆、转移、编辑等任务,适合视频特效、游戏与AR/VR。

Perception-as-Control是什么

Perception-as-Control是阿里巴巴通义实验室推出的图像动画框架,能根据用户意图实现细粒度的运动控制。Perception-as-Control基于构建3D感知运动表示,将相机和物体运动转化为直观、一致的视觉变化,用感知结果作为运动控制信号,支持多种与运动相关的视频合成任务。Perception-as-Control框架基于U-Net架构的扩散模型,结合参考图像的外观信息和运动控制信号的运动信息,生成可控的图像动画。Perception-as-Control推出三阶段训练策略,平衡相机和物体运动控制,促进细粒度运动控制,在多种应用场景中展现出优越的性能。

阅读目录
  • Perception-as-Control是什么
  • Perception-as-Control的主要功能
  • Perception-as-Control的技术原理
  • Perception-as-Control的项目地址
  • Perception-as-Control的应用场景

Perception-as-Control

Perception-as-Control的主要功能

  • 细粒度协同运动控制:实现相机和物体运动的协同控制,支持用户用细粒度的方式控制动画中的各个元素。让用户精确地调整场景中物体的运动及相机的视角变化。
  • 多种运动相关视频合成任务:支持多种与运动相关的视频合成任务,包括基于图像的运动生成、基于视频的运动克隆、运动转移和运动编辑。
    • 运动生成:根据用户输入的参考图像和2D轨迹生成动画。
    • 运动克隆:模仿源视频中的相机和物体运动。
    • 运动转移:将源视频中的局部运动转移到参考图像中的不同位置和尺度的对象上。
    • 运动编辑:用户提供分割掩码,编辑分割掩码内的运动。
  • 3D感知运动表示:基于构建3D感知运动表示,将复杂的3D场景简化为关键对象部分(用单位球表示)和世界包络,实现直观且一致的视觉变化。

Perception-as-Control的技术原理

  • 3D感知运动表示:将3D场景简化为关键对象部分(用单位球表示)和世界包络,基于3D点跟踪和视觉里程计技术捕捉局部物体运动和全局相机运动。
  • 网络架构:基于去噪U-Net架构,用两个轻量级编码器分别编码相机和物体控制信号,避免RGB级别的干扰,融合模块合并编码信号。
  • 参考图像注入:ReferenceNet将参考图像的外观信息注入到生成过程中,确保生成的视频保持参考图像的特定外观。
  • 三阶段训练策略:
    • 第一阶段:仅训练相机编码器,处理仅含相机运动的视频剪辑。
    • 第二阶段:加入物体编码器和融合模块,处理包含相机和物体运动的视频剪辑。
    • 第三阶段:基于稀疏单位球实现细粒度物体运动控制,自适应确定每个渲染点的控制范围。
  • 扩散模型:用图像扩散概率模型的基本原理,使用去噪U-Net架构生成视频,优化目标是最小化预测噪声与实际噪声之间的差异,条件输入包括参考图像和运动控制信号。

Perception-as-Control的项目地址

  • 项目官网:https://chen-yingjie.github.io/projects/Perception-as-Control/
  • GitHub仓库:https://github.com/chen-yingjie/Perception-as-Control
  • arXiv技术论文:https://arxiv.org/pdf/2501.05020

Perception-as-Control的应用场景

  • 电影和视频特效:生成具有特定运动的动画场景,模仿现有视频中的复杂运动,或将一个角色的运动转移到另一个角色上。
  • 游戏开发:为游戏角色和物体生成自然且可控的动画,提升游戏的沉浸感和动态效果。
  • 虚拟现实(VR)和增强现实(AR):在VR环境中生成实时动画反馈,增强用户互动体验;在AR应用中将虚拟物体动画与现实场景融合。
  • 广告和营销:生成吸引人的动态广告和品牌推广动画,提升品牌形象和记忆点。
  • 教育和培训:生成科学实验动画和技能培训模拟动画,帮助学生和学员更好地理解和掌握知识和技能。
❓ 常见问题解答(FAQ)
Perception-as-Control主要解决什么问题?

它主要解决图像动画中的细粒度运动控制问题。框架将相机运动和物体运动转化为可感知的控制信号,并结合参考图像外观信息,生成更可控、更一致的动画结果。

Perception-as-Control支持哪些视频合成任务?

它支持基于图像的运动生成、基于视频的运动克隆、运动转移和运动编辑。用户可输入参考图像、轨迹或分割掩码,实现不同类型的可控动画合成。

Perception-as-Control的核心技术亮点是什么?

核心亮点是3D感知运动表示、U-Net扩散生成框架、参考图像注入和三阶段训练策略。它通过分离相机与物体控制信号,提升了复杂场景下的运动控制精度。

🔬 语宙深潜追问 · 进阶实操拆解
三阶段训练对动画控制有何价值?

它通常能把运动表示、控制信号和最终渲染分开优化,减少“能动但不听话”的问题。实战里这类分阶段训练更利于稳定收敛,也方便单独调相机、物体和局部编辑能力。

如何把图像动画用于内容生产?

先把静态素材按镜头拆成可复用资产,再用相机运动、主体位移和局部编辑组合出短视频模板。若要批量生产,建议建立风格库和动作库,减少每次都从零生成。

🗳️ 读者观点微投票 · 您的实战立场是?
图像动画最关键的是生成还是可控?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🎬 所属权威专题:AI 视频生成与影视工作流 →
  • Motion Prompting – 谷歌联合密歇根和布朗大学推出的运动轨迹控制视频生成模型
  • DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架
  • MotionCtrl – 腾讯等推出的视频生成模型的运动控制器
  • DragAnything – 快手联合浙大等机构开源的可控视频生成方法
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Marco – 阿里推出的商用翻译大模型,支持15个语种
英伟达Nemotron 3 Super开源发布:1200亿参数Mamba-MoE架构,智能体推理速度提升3倍,性能直逼Claude Opus 4.6
仅需6步去噪直出电影级声画!Pika重磅开源首个MiniMax H3音视频联合大模型Pika H3Flex:适配器权重全公开、登顶开源视频榜首与运镜全景实测深度拆解
谷歌发布移动端AI应用更新:首次支持历史聊天记录搜索与文件上传
AdaCache – Meta推出加速AI视频实时高质量生成的开源项目
TAGGED:3D与空间智能AI视频生成通义千问
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型 Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型
下一篇 Weebo – AI语音聊天机器人,实时响应用户语音指令和问题 Weebo – AI语音聊天机器人,实时响应用户语音指令和问题
Ad image
Ad image

最近更新

Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势
Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具

相关推荐

谷歌升级Gemini Enterprise:优化界面并推进Workspace连接器重构
AIGC 资讯

谷歌升级Gemini Enterprise:优化界面并推进Workspace连接器重构

Prompt 语宙研究院
AI办公效率 AI智能体 Gemini
Claude Opus 5 系统提示词被整份扒光:1511 行、约 3.4 万 token,写满的全是"不许"
AIGC 资讯

Claude Opus 5 系统提示词被整份扒光:1511 行、约 3.4 万 token,写满的全是”不许”

Prompt 语宙研究院
AI智能体 AI绘画提示词 Claude Claude Code Cursor
Lightricks LTX-2 震撼发布:原生4K/50fps电影级AI视频生成模型,支持音画同步与精细控制
AI 工具AIGC 资讯

Lightricks LTX-2 震撼发布:原生4K/50fps电影级AI视频生成模型,支持音画同步与精细控制

Prompt 语宙研究院
AIGC AI视频生成 Lightricks LTX-2 扩散模型
VimRAG重磅开源:阿里通义首创多模态记忆图,企业级图文视频RAG精度飙升50%
AI 工具AIGC 资讯

VimRAG重磅开源:阿里通义首创多模态记忆图,企业级图文视频RAG精度飙升50%

Prompt 语宙研究院
VimRAG 多模态RAG 大模型Agent 知识库检索 阿里通义
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.