Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: JoyAI-Echo – 京东开源的长音视频生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
JoyAI-Echo – 京东开源的长音视频生成框架
Prompt 语宙 > AIGC 资讯 > JoyAI-Echo – 京东开源的长音视频生成框架
AIGC 资讯

JoyAI-Echo – 京东开源的长音视频生成框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午5:59
AI绘画提示词 AI视频生成 PyTorch 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 跨模态记忆库把角色外观与音色绑定,显著缓解长视频里的变脸和音色突变。
  • DMD 少步推理让生成速度提升约 7.5 倍,分钟级长视频从“慢”变得可用。
  • Director Agent 支持自然语言局部修订,配合实时超分,兼顾交互效率与高清输出。

JoyAI-Echo是什么

JoyAI-Echo 是京东推出的开源长音视频生成框架,专为分钟级多镜头故事生成设计。框架通过跨模态记忆库、记忆驱动后训练、Director Agent 对话式编辑和轻量化实时超分四大技术创新,解决长视频生成中角色变脸、音色突变、生成缓慢等核心痛点,首次实现长达 5 分钟的高一致性、可交互、高清长视频生成,标志着京东进入长视频生成全球第一梯队。

阅读目录
  • JoyAI-Echo是什么
  • JoyAI-Echo的主要功能
  • JoyAI-Echo的技术原理
  • 如何使用JoyAI-Echo
  • JoyAI-Echo的核心优势
  • JoyAI-Echo的项目地址
  • JoyAI-Echo的同类竞品对比
  • JoyAI-Echo的应用场景

JoyAI-Echo

JoyAI-Echo的主要功能

  • 分钟级多镜头故事生成:支持从单个提示词 JSON 生成连贯的多镜头长视频序列,最长可达 5 分钟。
  • 跨模态音视频联合生成:单一管道同步输出视频与音频,确保音画同步。
  • 配对跨模态记忆库:在多镜头生成中持续保存并调用角色外观特征与说话人音色,保持故事级一致性。
  • DMD 蒸馏少步推理:通过分布匹配蒸馏技术,实现约 7.5 倍的生成速度提升。
  • Director Agent 对话式编辑:用户可用自然语言与导演助理交互,自动拆分剧本、角色、场景和镜头,支持局部修订,无需重跑整条视频。
  • 轻量化实时超分:支持从 736×1280 单步超分至 1152×1920 或 1472×2560,在流式延迟约束下保持高清输出。

JoyAI-Echo的技术原理

  • 跨模态音视频记忆库:JoyAI-Echo 的核心突破为内置一个配对跨模态记忆库,通过 Slot-paired 机制将视觉记忆与音频记忆绑定存储。在多镜头生成过程中,记忆库持续保存并调用角色的面部特征、整体外观、说话人音色以及音画对应关系,使每个新镜头都以前续镜头的身份特征为条件进行生成,在长达 5 分钟的视频中保持故事级一致性,彻底解决角色变脸和音色突变问题。
  • 记忆驱动后训练与 DMD 蒸馏加速:团队推出一套记忆驱动的后训练流程,结合监督微调(SFT)、跨模态 RLHF 及 Distribution Matching Distillation(DMD)技术。其中 DMD 将原本的多步扩散推理压缩为少步推理,在保持生成质量的同时实现了约 7.5 倍的推理加速,使分钟级长视频的流式生成从理论变为实用。
  • Director Agent 交互架构:框架引入一个智能导演代理,将用户的自然语言意图自动扩展为结构化的剧本、镜头、角色和场景描述,支持规划、生成、评审、局部修订四个环节的闭环工作流。用户可通过对话方式指定修改,Agent 仅重新生成有问题的局部镜头无需重跑整条视频,将静态生成转变为动态协作。
  • 轻量化实时音视频超分:为满足专业内容生产的高清需求,JoyAI-Echo 配套单步音视频超分模块,可在流式延迟约束下将 736×1280 的基础输出实时锐化至 1152×1920 或 1472×2560,确保高分辨率输出不打破流式生成的实时性。

如何使用JoyAI-Echo

  • 克隆仓库:git clone https://github.com/jd-opensource/JoyAI-Echo.git
  • 创建环境:用 Python 3.11 + PyTorch 2.8 + CUDA 12.8,通过 conda 或 uv 安装依赖,并确保 ffmpeg 可用。
  • 下载模型权重:从 Hugging Face 下载约 46GB 的 echo-longvideo-release.safetensors 和约 24GB 的 gemma-3-12b 文本编码器,放置于 checkpoints/ 目录。
  • 编写故事提示词:创建 JSON 文件,按角色与主体、动作与对话、风格、镜头运动、背景、音效与 BGM 的顺序描述每个镜头。
  • 运行推理:执行 python inference.py,模型一次性加载后处理所有提示文件,输出至 inference_result/outputs/ 目录。

JoyAI-Echo的核心优势

  • 超长一致性:在长达 5 分钟的视频中,角色身份、视觉形象和声音音色保持高度一致,彻底解决同一个人演着演着变成另一个人的问题。
  • 极速生成:记忆驱动后训练结合 DMD 技术,推理速度提升约 7.5 倍,从等半天变为秒出片。
  • 对话式交互创作:Director Agent 将静态生成转变为动态协作,支持自然语言规划、评审和局部修订,大幅降低创作门槛。
  • 高清实时输出:轻量化超分模块在流式延迟下稳定输出高分辨率视频,满足专业内容生产需求。
  • 全面开源:代码与权重已全部开源,基于 LTX-2.3 和 Gemma 构建,支持学术研究与二次开发。

JoyAI-Echo的项目地址

  • 项目官网:https://echo-team-joy-future-academy-jd.github.io/Echo-LongVideo-Page/
  • GitHub仓库:https://github.com/jd-opensource/JoyAI-Echo

JoyAI-Echo的同类竞品对比

对比维度 JoyAI-Echo HappyOyster
长视频生成能力 ✅ 支持最长 5 分钟多镜头连贯故事生成 ✅ 支持长视频生成,但具体时长未明确公开
角色/身份一致性 ✅ 59.4% 用户偏好;跨模态记忆库确保多镜头角色外观与音色一致 27.7% 用户偏好;未明确披露类似记忆机制
视觉美学 ✅ 63.6% 用户偏好 27.6% 用户偏好
音频质量 ✅ 81.7% 用户偏好;联合音视频生成,音色稳定 11.8% 用户偏好
提示词遵循 ✅ 80.6% 用户偏好;Director Agent 自动拆分剧本与镜头 5.9% 用户偏好
生成速度 ✅ DMD 蒸馏加速,7.5 倍推理提速,支持流式生成 标准多步扩散推理,未明确披露加速机制
对话式编辑 ✅ Director Agent 支持自然语言交互与局部镜头修订,无需重跑全片 ❌ 未明确支持对话式局部编辑
实时超分辨率 ✅ 轻量化单步超分,支持至 1472×2560 ❌ 未明确支持实时超分
开源情况 ✅ 代码与权重全面开源(学术研究/非商业用途) ❌ 未开源
底层架构 基于 LTX-2.3 + Gemma-3-12B,配对跨模态记忆库条件生成 基于自研模型,具体技术细节披露较少

JoyAI-Echo的应用场景

  • 虚拟故事创作与动漫制作:生成长达数分钟的连贯动画故事,保持角色外观、声音和性格在多镜头间高度一致,大幅降低传统动画制作成本。
  • 数字人内容生产与直播:为虚拟主播、数字人客服快速生成长视频内容,确保数字人的面容和音色在长时间输出中不漂移,提升真实感与专业度。
  • 品牌营销视频快速迭代:通过 Director Agent 的对话式编辑能力,营销团队可像聊天一样修改广告脚本和镜头,快速产出多版本品牌视频,缩短创意周期。
  • 影视前期预演与分镜制作:导演和制片方可用自然语言生成长片分镜与预演视频,在正式拍摄前验证镜头语言、角色走位和叙事节奏,降低试错成本。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
PyTorch ↗
PyTorch:开源的机器学习库,面向AI 开发平台场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向。
❓ 常见问题解答(FAQ)
JoyAI-Echo 支持生成多长的视频?

文章介绍其面向分钟级多镜头故事生成,最长可达 5 分钟,并强调在长时长下仍能保持角色身份、视觉形象和音色的一致性。

JoyAI-Echo 为什么能减少角色变脸?

核心在于配对跨模态记忆库与 Slot-paired 机制,会持续保存并调用角色外观特征、说话人音色及音画对应关系,让后续镜头以前文身份信息为条件生成。

JoyAI-Echo 怎么使用和运行?

先克隆 GitHub 仓库,配置 Python 3.11、PyTorch 2.8 和 CUDA 12.8,再下载约 46GB 的视频权重与约 24GB 的文本编码器,编写 JSON 故事提示词后运行 python inference.py 即可。

🔬 语宙深潜追问 · 进阶实操拆解
分钟级长视频怎么保持角色一致?

核心是跨镜头记忆库:固定角色外观、服饰、动作习惯和场景锚点,并在每段生成前注入约束;再用后处理做帧间校正,减少脸崩和设定漂移。

对话式编辑适合哪些创作流程?

最适合先出粗剪再迭代的广告、短剧和知识视频;创作者可以用“改镜头、换台词、调节奏”逐步修正,而不是每次从头重生成,效率会高很多。

🗳️ 读者观点微投票 · 您的实战立场是?
长视频生成最难的是一致性还是可控性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Lightricks LTX-2.3 开源发布:220亿参数视频生成模型,支持4K竖屏与音视频同步
  • 字节联合南洋理工开源StoryMem:破解AI视频生成跨镜头一致性难题,打造电影级多镜头叙事
  • PixVerse V5.5 视频生成大模型深度解析:爱诗科技如何用AI一键实现音画同步与多镜头叙事
  • MovieDreamer – 专为长视频研发的AI视频生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
VideoVAE+ – 香港科技大学推出的先进跨模态视频变分自编码器
My Story Elf
Veo 3 – 谷歌推出的新一代视频生成模型
ANTO – 开源的Windows桌面字幕翻译工具
Pad.ws – 在线AI开发工具,白板功能与代码编辑器深度结合
TAGGED:AI绘画提示词AI视频生成PyTorch大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Microsoft Scout – 微软推出的 AI 个人助手 Microsoft Scout – 微软推出的 AI 个人助手
下一篇 MAI-Voice-2 – 微软推出的新一代文本转语音模型 MAI-Voice-2 – 微软推出的新一代文本转语音模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Luci Gutiérrez
强化 AI 学习

你的职业生涯衰退或许比你想的更早到来 [译]

宝玉的分享
AI办公效率 AI智能体 大模型微调
Movie Gen – Meta推出文本驱动的AI视频生成与编辑工具
AIGC 资讯

Movie Gen – Meta推出文本驱动的AI视频生成与编辑工具

Prompt 语宙研究院
AI智能体 AI视频生成 AI音频与语音
图解 Transformer [译]
强化 AI 学习

图解 Transformer [译]

宝玉的分享
AI编程 PyTorch TensorFlow 开源大模型
Content At Scale
AI 工具

Content At Scale

remaker
AI办公效率 OpenAI RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.