# Ruyi – 图森未来推出的图生视频大模型

- Link: https://paooo.com/aigc-news/24827/
- Published: 2026-07-09T23:48:29+08:00
- Author: 站外新闻

## Ruyi是什么

Ruyi是图森未来推出的图生视频[大模型](https://paooo.com/ai-study/)，专为在消费级显
卡上运行设计，支持多分辨率、多时长视频生成，具备首帧、首尾帧控制、运动幅度控制和
镜头控制等特性。Ruyi基于DiT架构，由Casual VAE模块和Diffusion Transformer组成，用
在视频数据压缩和生成。Ruyi能降低动漫和游戏内容的开发周期和成本，是ACG爱好者和创作
者的理想工具。目前图森未来将Ruyi-Mini-7B版本正式开源。

阅读目录

 * [Ruyi是什么](https://paooo.com/aigc-news/24827/#ruyi%e6%98%af%e4%bb%80%e4%b9%88)
 * [Ruyi的主要功能](https://paooo.com/aigc-news/24827/#ruyi%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Ruyi的技术原理](https://paooo.com/aigc-news/24827/#ruyi%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Ruyi的项目地址](https://paooo.com/aigc-news/24827/#ruyi%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Ruyi的应用场景](https://paooo.com/aigc-news/24827/#ruyi%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Ruyi](https://paooo.com/wp-content/uploads/2026/07/Ruyi-website-2-1.avif)

## Ruyi的主要功能

 * **多分辨率、多时长生成**：Ruyi支持从最小384×384到最大1024×1024分辨率的视频生成，
   能处理任意长宽比，最长生成120帧/5秒的视频。
 * **首帧、首尾帧控制生成**：基于最多5个起始帧和最多5个结束帧生成视频，用循环叠加
   生成任意长度的视频。
 * **运动幅度控制**：提供4档运动幅度控制，方便用户对整体画面的变化程度进行控制。
 * **镜头控制**：提供了上、下、左、右、静止共5种镜头控制，增加视频生成的灵活性。

## Ruyi的技术原理

 * **模型架构**：Ruyi基于DiT（Diffusion Model with Transformers）架构，由两部分组成：
    - **Casual VAE模块**：负责视频数据的压缩和解压。
    - **Diffusion Transformer**：负责压缩后的视频生成。
 * **压缩与编码**：Casual VAE模块将空间分辨率压缩至1/8，时间分辨率压缩至1/4，压缩
   后每个像素由16位的BF16进行表示。
 * **位置编码**：DiT部分用3D full attention，在空间上使用2D RoPE（Rotary Positional
   Encoding）进行位置编码，时间上用sin_cos进行位置编码。
 * **训练损失函数**：最终的loss选用DDPM（Denoising Diffusion Probabilistic Models）
   进行训练。
 * **参数量与训练数据**：模型的总参数量约为7.1B，用约200M视频片段进行训练。
 * **训练阶段**：整个训练分为四个阶段，从低分辨率预训练到高分辨率微调，逐步提升模型
   性能。

## Ruyi的项目地址

 * **GitHub仓库**：[https://github.com/IamCreateAI/Ruyi-Models](https://github.com/IamCreateAI/Ruyi-Models)
 * **HuggingFace模型库**：[https://huggingface.co/IamCreateAI/Ruyi-Mini-7B](https://huggingface.co/IamCreateAI/Ruyi-Mini-7B)

## Ruyi的应用场景

 * **动画预制**：快速生成动画角色和场景的动态演示，评估动画设计和故事流程。
 * **游戏CG生成**：在游戏开发中，自动生成游戏宣传视频或游戏内的动态背景。
 * **电影特效预览**：在电影制作中，帮助导演和特效团队预览特效场景，优化后期特效制作。
 * **虚拟主播**：生成虚拟主播的动态视频，用于直播、新闻播报或在线教育。
 * **社交媒体内容**：为社交媒体平台创建吸引人的动态视频内容，提高用户参与度和品牌
   曝光。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)