# MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架

- Link: https://paooo.com/aigc-news/21062/
- Published: 2026-06-08T14:18:06+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 多[智能体](https://paooo.com/trends/)协作+多阶段写作，让故事大纲、章节与提示词
   生成更稳定、更有创意。
 * 支持文本、图像、语音、音乐、音效一体化生成，并强化角色一致性与模态对齐。
 * 框架模块化程度高，可替换不同模型与 API，适合儿童绘本、教育内容和出版自动化。

## MM-StoryAgent是什么

MM-StoryAgent 是上海交通大学X-LANCE实验室和阿里巴巴集团联合推出的开源多模态、多智能
体框架，用在生成沉浸式的有声故事绘本视频。基于结合大型语言模型（LLMs）和多种模态
的生成工具（如文本、图像、音频），用多阶段写作流程和模态特定的提示修订机制，提升
故事的吸引力和沉浸感。框架支持灵活的模块化设计，能替换不同的生成模型和API。MM-StoryAgent
提高了故事质量，在图像、语音、音乐和音效之间实现更好的对齐效果，为儿童故事书的自动
化创作提供了高效、灵活且富有表现力的解决方案。

阅读目录

 * [MM-StoryAgent是什么](https://paooo.com/aigc-news/21062/#mmstoryagent%e6%98%af%e4%bb%80%e4%b9%88)
 * [MM-StoryAgent的主要功能](https://paooo.com/aigc-news/21062/#mmstoryagent%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MM-StoryAgent的技术原理](https://paooo.com/aigc-news/21062/#mmstoryagent%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MM-StoryAgent的项目地址](https://paooo.com/aigc-news/21062/#mmstoryagent%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MM-StoryAgent的应用场景](https://paooo.com/aigc-news/21062/#mmstoryagent%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MM-StoryAgent](https://paooo.com/wp-content/uploads/2026/06/MM-StoryAgent-website-
1.avif)

## MM-StoryAgent的主要功能

 * **高质量故事生成**：基于多智能体协作和多阶段写作流程，生成具有吸引力、教育性和
   情感共鸣的故事内容。
 * **多模态内容生成**：结合文本、图像、语音、音乐和音效等多种模态，为用户带来丰富
   的沉浸式体验。
 * **角色一致性**：在图像生成中，基于角色提取和提示修订，确保故事中的角色在视觉上
   保持一致。
 * **模态对齐**：基于提示修订和对比学习模型，优化文本与图像、音频之间的对齐效果，
   提升整体故事的连贯性。
 * **灵活的模块化设计**：支持灵活替换生成模块（如不同的文本生成模型、图像生成模型
   等），便于开发者根据需求进行定制和优化。

## MM-StoryAgent的技术原理

 * **多智能体协作架构**：模拟业余作者与专家之间的对话，生成故事大纲和章节内容。对话
   过程模拟人类的头脑风暴，为故事提供更丰富的创意和吸引力。针对图像、音频等不同模
   态的需求，将文本故事转化为适合生成模型的提示内容。基于“修订者-审核者”的多轮协作，
   优化提示的质量。
 * **多模态生成技术**：
    - **文本生成**：基于大型语言模型（LLMs）生成故事文本。
    - **图像生成**：用扩散模型（如 StoryDiffusion）生成与故事内容一致的图像，并通过
      角色提取确保角色在多帧图像中保持一致。
    - **音频生成**：基于文本到语音（TTS）模型生成旁白，用 AudioLDM2 或 MusicGen 
      等模型生成音效和背景音乐。
    - **视频合成**：将生成的图像、音频和文本内容合成，形成完整的有声故事视频。
 * **模态对齐优化**：用对比学习模型（如 CLIP、CLAP）评估生成内容与文本之间的对齐
   程度，基于提示修订机制优化生成效果。
 * **模块化设计**：框架支持灵活替换不同的生成模型和API，开发者根据需求选择更先进
   的模型提升生成质量。

## MM-StoryAgent的项目地址

 * **GitHub仓库**：[https://github.com/X-PLUG/MM_StoryAgent](https://github.com/X-PLUG/MM_StoryAgent)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.05242](https://arxiv.org/pdf/2503.05242)
 * **在线体验Demo**：[https://huggingface.co/spaces/wsntxxn/MM-StoryAgent](https://huggingface.co/spaces/wsntxxn/MM-StoryAgent)

## MM-StoryAgent的应用场景

 * **儿童教育与娱乐**：生成有趣且富有教育意义的有声故事视频，陪伴儿童学习和成长。
 * **数字内容创作**：为创作者快速生成多模态故事内容，降低创作成本，提高效率。
 * **在线教育**：辅助教学，用故事形式讲解知识，增强学习趣味性。
 * **多媒体出版**：自动化生成有声绘本，助力出版社快速制作多媒体内容。
 * **智能设备集成**：应用于智能音箱、平板等设备，提供个性化的故事生成服务。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

MM-StoryAgent适合做什么？

它主要用于生成沉浸式有声故事绘本视频，适合儿童教育、数字内容创作、在线教学和多媒体
出版等场景。通过多智能体协作，把故事文本、图像、语音、音乐和音效整合成完整作品。

MM-StoryAgent的核心技术亮点是什么？

核心亮点是多智能体协作、多阶段写作流程、模态特定提示修订，以及角色提取和对比学习
式模态对齐。它能提升故事质量，并让图像、语音、音乐与文本更一致。

MM-StoryAgent能替换现有模型吗？

可以。文章明确提到它采用模块化设计，支持灵活替换不同的生成模型和 API，开发者可按
需求接入更合适的文本、图像、音频生成工具。

🔬 语宙深潜追问 · 进阶实操拆解

多阶段写作为什么能提升成片质量？

因为它把“故事构思、分镜生成、提示修订”拆成可控环节，减少一次性生成带来的跑题。每一
阶段都能做人工或模型自检，尤其适合儿童内容这种对角色稳定性和叙事清晰度要求高的任务。

如何避免图像、语音、音乐互相打架？

要先确定统一的叙事节奏和情绪基调，再让各模态围绕同一时间轴生成。工程上建议用共享
脚本和节拍约束做总控，避免某一模态过度抢戏，否则画面、旁白和配乐会各说各话。

🗳️ 读者观点微投票 · 您的实战立场是？

多智能体做绘本视频，最难的是哪一步？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [腾讯ARC重磅发布AudioStory：一句话生成叙事音频，AI配音、有声书、游戏音效全搞定](https://paooo.com/aigc-news/13888/)
 * [MultiTalk：美团等联合推出AI视频生成框架，音频驱动多人对话，口型精准同步](https://paooo.com/aigc-news/14839/)
 * [StoryWeaver – 厦大和网易伏羲联合推出的统一故事可视化 AI 模型](https://paooo.com/aigc-news/23370/)
 * [WeGen – 中科大联合上海交大等推出的统一多模态生成模型](https://paooo.com/aigc-news/21312/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21062/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
