Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DragAnything – 快手联合浙大等机构开源的可控视频生成方法
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DragAnything – 快手联合浙大等机构开源的可控视频生成方法
Prompt 语宙 > AIGC 资讯 > DragAnything – 快手联合浙大等机构开源的可控视频生成方法
AIGC 资讯

DragAnything – 快手联合浙大等机构开源的可控视频生成方法

Prompt 语宙研究院
最近更新: 2026年6月8日 下午10:03
AI智能体 AI视频生成 stable diffusion 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于实体表示替代像素拖拽,实现视频中任意物体的精确运动控制。
  • 支持多实体独立控制、前景/背景/相机运动,交互更简单直观。
  • 在 FID、FVD 和用户研究中达到新最佳,兼顾控制精度与画质。

DragAnything是什么

DragAnything 是快手联合浙江大学和新加坡国立大学 Show Lab推出的,基于实体表示的可控视频生成方法,基于简单的轨迹输入实现对视频中任意物体的精确运动控制。DragAnything用扩散模型的潜在特征表示视频中的每个实体,克服传统方法中单纯拖动像素点无法精确控制物体运动的局限性。DragAnything 提供用户友好的交互方式,支持前景、背景及相机运动的灵活控制,在 FID、FVD 和用户研究等评估指标上达到新的最佳性能。

阅读目录
  • DragAnything是什么
  • DragAnything的主要功能
  • DragAnything的技术原理
  • DragAnything的项目地址
  • DragAnything的应用场景

DragAnything

DragAnything的主要功能

  • 实体级运动控制:对视频中的任何实体(包括前景和背景)进行精确的运动控制,不仅是像素级别的操作。
  • 多实体独立控制:支持同时对多个物体进行独立的运动控制,每个物体根据用户定义的轨迹进行不同的运动。
  • 用户友好的交互方式:用户基于简单的交互(如选择区域并拖动)实现复杂的运动控制,无需复杂的输入信号(如分割掩码或深度图)。
  • 相机运动控制:除控制视频中的物体,DragAnything 能实现相机的运动控制,如缩放和平移。
  • 高质量视频生成:在保持运动控制精度的同时,生成高质量的视频内容,适用于多种应用场景。

DragAnything的技术原理

  • 实体表示:推出新的实体表示方法,从扩散模型的潜在特征中提取语义信息表征视频中的每个物体。将物体的语义特征与运动轨迹相结合,实现精确的实体级运动控制。
  • 2D 高斯表示:引入 2D 高斯表示,基于高斯分布对物体的中心区域赋予更高的权重,减少边缘像素的影响,实现更自然的运动控制。
  • 扩散模型:基于扩散模型架构(如 Stable Video Diffusion),用强大的生成能力和去噪能力生成高质量的视频内容。扩散模型基于逐步去除噪声重建视频帧,结合用户输入的运动轨迹和实体表示。
  • 轨迹引导的运动控制:用户基于绘制简单的轨迹定义物体的运动路径,DragAnything 将轨迹与实体表示相结合,生成符合用户意图的视频内容,避免直接操作像素点的局限性,实现更自然和精确的运动控制。
  • 损失函数与优化:在训练阶段,用带有掩码的均方误差(MSE)损失函数,专注于优化用户指定区域的运动控制,保持其他区域的生成质量。

DragAnything的项目地址

  • 项目官网:https://weijiawu.github.io/draganything
  • GitHub仓库:https://github.com/showlab/DragAnything
  • arXiv技术论文:https://arxiv.org/pdf/2403.07420

DragAnything的应用场景

  • 视频创作与编辑:快速生成动画、调整物体运动轨迹,提升创作效率。
  • 游戏开发:生成角色动作和增强玩家的交互体验。
  • 教育与培训:辅助科学模拟和技能培训,帮助理解复杂运动过程。
  • 广告与营销:制作动态广告和产品展示,突出产品特点。
  • 娱乐与社交:生成互动视频和控制虚拟角色动作,增强趣味性。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Stable Video ↗
Stable Video通过AI实现视频创作与图像编辑,功能实用、操作便捷。
❓ 常见问题解答(FAQ)
DragAnything 适合做什么视频编辑?

它适合需要精确控制物体运动的视频编辑场景,例如动画制作、角色动作调整、产品展示和互动视频生成。用户只需绘制轨迹,就能驱动物体按指定路径运动。

DragAnything 和普通拖拽视频编辑有什么区别?

普通拖拽多是直接移动像素点,容易出现控制不准的问题;DragAnything 通过实体表示把物体语义与轨迹结合,能更精确地控制前景、背景和相机运动。

DragAnything 的技术核心是什么?

核心是实体表示、2D 高斯表示和扩散模型结合:从潜在特征中提取实体语义,再用轨迹引导运动,并通过带掩码的 MSE 损失优化指定区域的控制效果。

🔬 语宙深潜追问 · 进阶实操拆解
DragAnything 的实战价值主要在哪?

它的价值在于用轨迹和实体表示把“想让谁怎么动”变成可编辑输入,适合广告、短视频和镜头预演。若项目最在意可控性而非完全自由生成,这类方法更容易落地。

上线时如何避免控制失真?

要把前景、背景和相机控制拆开验证,并对长轨迹、遮挡和快速运动单独测试。若只在短片段上好看,实际生产中很容易出现漂移、穿模和主体丢失。

🗳️ 读者观点微投票 · 您的实战立场是?
可控视频生成先攻运动控制还是画质?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧬 所属权威专题:RAG 知识库与模型微调 →
  • AnimateAnything – 浙江大学联合北航推出的统一可控视频生成技术
  • VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架
  • MotionCtrl – 腾讯等推出的视频生成模型的运动控制器
  • MotionCanvas – 港中文和 Adobe 等机构推出的可控图像到视频生成方法
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
几秒钟“克隆”猫王与阿姆!Suno再遭巨额版权侵权诉讼:传统唱片业反击、旋律风格仿冒与生成式AI音乐合规红线全景深度剖析
CogView4 – 智谱开源的AI文生图模型,支持生成汉字
[AI生图咒语] 例161 – 应用界面样机图
告别自回归高时延与JSON幻觉!AI Engineer Code Summit深度揭秘:Glean/UiPath/Workday如何利用“系统一”确定性模型Jev重构企业级自动化全景剖析
Ordinary People Prompts
TAGGED:AI智能体AI视频生成stable diffusion开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Helix – Figure 推出的端到端通用控制模型 Helix – Figure 推出的端到端通用控制模型
下一篇 STAR – 南大、字节、西南大学联合开源的现实世界视频超分辨率框架 STAR – 南大、字节、西南大学联合开源的现实世界视频超分辨率框架
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

MotionGen – 元象科技推出的3D动作生成模型
AIGC 资讯

MotionGen – 元象科技推出的3D动作生成模型

Prompt 语宙研究院
3D与空间智能 AI视频生成 开源大模型
RMBG-2.0 – 开源的图像背景移除模型,支持各类图像高精度背景移除
AIGC 资讯

RMBG-2.0 – 开源的图像背景移除模型,支持各类图像高精度背景移除

Prompt 语宙研究院
AI办公效率 AI视频生成 HuggingFace 开源大模型
Penpot – 开源的设计与代码协作平台,多人实时协作
AIGC 资讯

Penpot – 开源的设计与代码协作平台,多人实时协作

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 Figma 开源大模型
阿里通义开源 Wan2.2-S2V:一张图+一段音频,分钟级生成电影级数字人视频的多模态大模型
AI 工具AIGC 资讯

阿里通义开源 Wan2.2-S2V:一张图+一段音频,分钟级生成电影级数字人视频的多模态大模型

Prompt 语宙研究院
AIGC 多模态模型 数字人 视频生成 通义万相
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.