# SOLAMI – 南洋理工推出的VR端3D角色扮演AI系统

- Link: https://paooo.com/aigc-news/25002/
- Published: 2026-07-11T04:18:29+08:00
- Author: Prompt 语宙研究院

## SOLAMI是什么

SOLAMI是创新的VR端3D角色扮演AI系统，是南洋理工大学研究团队推出的。支持用户用语音
和肢体语言与虚拟角色进行沉浸式互动，基于社交视觉-语言-行为模型，提供超越传统文本
和语音交互的自然交流体验。SOLAMI用端到端的VLA模型驱动，能识别用户的肢体语言，作出
响应，支持多种角色互动，如跳舞、玩游戏等。SOLAMI为AI角色扮演游戏带来了新的沉浸式
体验。

阅读目录

 * [SOLAMI是什么](https://paooo.com/aigc-news/25002/#solami%e6%98%af%e4%bb%80%e4%b9%88)
 * [SOLAMI的主要功能](https://paooo.com/aigc-news/25002/#solami%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SOLAMI的技术原理](https://paooo.com/aigc-news/25002/#solami%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SOLAMI的项目地址](https://paooo.com/aigc-news/25002/#solami%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SOLAMI的应用场景](https://paooo.com/aigc-news/25002/#solami%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SOLAMI](https://paooo.com/wp-content/uploads/2026/07/SOLAMI-website-1.avif)

## SOLAMI的主要功能

 * **沉浸式互动**：用户在VR环境中用语音和肢体语言与3D虚拟角色进行自然互动。
 * **多模态响应**：系统够根据用户的语音和动作输入生成相应的角色语音和动作响应。
 * **角色多样性**：支持多种角色，包括超级英雄、机器人、二次元角色等，提供丰富的互动
   体验。
 * **互动游戏**：支持与角色进行简单的互动游戏，如剪刀石头布。

## SOLAMI的技术原理

 * **社交视觉-语言-行为模型（Social VLA）**：用端到端的VLA模型，处理用户的语音和
   动作输入，生成角色的响应。
 * **多模态输入处理**：基于Motion Tokenizer和Speech Tokenizer，用户的语音和动作被
   转换成模型能理解的token。
 * **LLM基座**：用大型语言模型（LLM）作为基座，处理输入的token，自回归地输出角色
   的语音和动作token。
 * **动作表示**：用户的动作用SMPL-X的3D旋转表示，用VQ-VAE进行编码。
 * **语音处理**：用户的语音用RVQ-VAE结构进行编码，用SoundStorm进行解码，实现声音
   克隆。
 * **训练过程**：包括多任务预训练和指令微调训练，让模型学习动作、语音和文本之间的
   关联，处理多轮多模态对话。

## SOLAMI的项目地址

 * **项目官网**：[solami-ai.github.io](https://solami-ai.github.io/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.00174](https://arxiv.org/pdf/2412.00174)

## SOLAMI的应用场景

 * **虚拟社交**：用户在虚拟环境中与AI角色进行社交互动，模拟真实的对话和非语言交流。
 * **游戏互动**：在VR游戏中，作为NPC（非玩家角色），与玩家进行更自然的互动，提升
   游戏体验。
 * **教育和培训**：模拟教师或学生的角色，提供语言学习、社交技能训练等教育场景。
 * **心理治疗**：在虚拟现实中模拟治疗师角色，帮助用户进行心理治疗和社交恐惧症的暴露
   疗法。
 * **娱乐和表演**：用户与虚拟歌手、舞者或演员互动，享受沉浸式的娱乐体验。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25002/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)