---
title: "中科院Stream-Omni重磅发布：GPT-4o级多模态大模型，实现语音、视觉、文本无缝交互"
url: "https://paooo.com/aigc-news/14857/"
author: "Prompt 语宙研究院"
published_at: "2026-06-28T14:12:22+08:00"
updated_at: "2026-06-07T20:26:34+08:00"
categories: "AI 工具, AIGC 资讯"
tags: "AIGC, GPT-4o, 多模态大模型, 视觉理解, 语音交互"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 中科院Stream-Omni重磅发布：GPT-4o级多模态大模型，实现语音、视觉、文本无缝交互

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/14857/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-28

## AI 30 秒核心看点 (TL;DR)

- 基于LLM骨干与CTC层维度映射，Stream-Omni打通语音、视觉、文本对齐。
- 支持文本、图像、语音多模态组合交互，并可实时输出ASR转录与模型响应。
- 少量全模态数据即可训练，适合智能车载、教育、家居、医疗与客服场景。

> 
                **💡 站外导读：**随着GPT-4o的发布，多模态交互成为AI领域的下一个核心战场。然而，真正的多模态模型面临数据需求巨大、模态对齐困难、实时交互延迟等痛点。Stream-Omni的发布，正是瞄准这一行业核心挑战，探索高效、低门槛的多模态融合路径，为中国AI产业提供关键基础设施。

            

             
                        

## Stream-Omni是什么

Stream-Omni是中国科学院计算技术研究所智能信息处理重点实验室、中国科学院人工智能安全重点实验室及中国科学院大学联合推出的类似[GPT-4o](https://ai-bot.cn/openai-gpt-4o/)的大型语言视觉语音模型，能同时支持多种模态组合的交互。模型支持大型语言模型为骨干，基于序列维度拼接实现视觉文本对齐，基于CTC的层维度映射实现语音文本对齐，高效地将文本能力迁移到语音模态。Stream-Omni在视觉理解、语音交互及视觉引导的语音交互任务上表现出色，基于少量的全模态数据（如23000小时语音数据）训练。模型能在语音交互过程中同时提供中间文本输出，如自动语音识别（ASR）转录和模型响应，为用户提供更丰富的多模态交互体验。

## Stream-Omni的主要功能

- **多模态输入与输出**：支持文本、视觉（图像）和语音等多种模态的输入，能同时生成文本和语音响应。

- **无缝“边听边看”体验**：在语音交互过程中，能实时输出中间文本结果（如自动语音识别ASR转录和模型响应），为用户提供更丰富的交互体验。

- **高效训练**：仅需少量全模态数据（如23000小时语音数据）训练，对数据需求量小，训练效率高。

- **灵活的交互模式**：支持多种模态组合的交互，包括文本+视觉→文本、文本+视觉→语音、语音+视觉→文本、语音+视觉→语音等，满足不同场景下的交互需求。

- **视觉理解与语音交互**：在视觉理解任务和语音交互任务上表现出色，能准确理解和生成与视觉内容相关的文本和语音信息。

## Stream-Omni的技术原理

- **基于LLM的骨干架构**：基于大型语言模型（LLM）为核心，用其强大的语言理解和生成能力，为多模态交互提供基础支持。

- **视觉文本对齐**：基于序列维度拼接的方式，将视觉编码器提取的视觉特征与文本输入进行拼接，再共同输入到LLM中，实现视觉和文本模态的对齐。

- **语音文本对齐**：引入基于CTC（Connectionist Temporal Classification）的层维度映射，在LLM的底部和顶部添加语音层，实现语音到文本的映射和文本到语音的生成，将语音模态与文本模态对齐。

- **多任务学习**：基于多任务学习策略，同时训练视觉文本、语音文本及全模态（视觉+文本+语音）的任务，让模型更好地理解和生成多模态内容。

- **实时语音生成**：基于特殊的语音层设计和层维度映射，Stream-Omni在生成文本的同时，实时生成对应的语音输出，实现流畅的语音交互。

- **数据驱动与监督学习结合**：模型依赖少量多模态数据进行训练，基于精心设计的对齐机制和多任务学习，能在有限的数据上实现高效的模态对齐和交互能力。

## Stream-Omni的项目地址

- **GitHub仓库**：https://github.com/ictnlp/Stream-Omni

- **HuggingFace模型库**：https://huggingface.co/ICTNLP/stream-omni-8b

- **arXiv技术论文**：https://arxiv.org/pdf/2506.13642

## Stream-Omni的应用场景

- **智能车载系统**：司机基于语音指令查询路线、获取路况，系统结合视觉信息（如导航地图、路况摄像头图像）实时显示文本提示和语音反馈，提升驾驶安全性和交互效率。

- **教育辅助工具**：在教育场景中，学生用语音提问，系统依据教材视觉内容（如图表、图片）给出详细文本解释和语音回答，帮助学生更好地理解和学习知识。

- **智能家居控制**：作为智能家居助手，用户基于语音指令控制家电设备，系统结合视觉输入（如摄像头捕捉的环境信息）提供文本或语音反馈，实现更智能、便捷的家居控制。

- **医疗辅助诊断**：医生在查看患者病历时，基于语音指令查询关键信息，系统结合视觉报告（如X光片、CT图像）提供详细的文本分析和语音解释，辅助医生更准确地做出诊断。

- **智能客服服务**：在客服领域，客服人员用语音与客户交流，系统实时显示相关文本信息和视觉提示（如产品图片、操作流程图），帮助客服人员快速理解客户需求并提供准确解答，提升服务质量和效率。

                    
            
                

#### 📝 站长洞察 (Editor's Insight)

                从GPT-4o引爆市场到Stream-Omni落地，多模态交互已从“技术演示”进入“产业应用”关键期。Stream-Omni的核心突破在于两点：一是用CTC层维度映射等创新架构，将2000小时级别数据训练出的语音能力高效迁移至大模型；二是实现了文本与语音的“实时同步输出”，这是交互体验的质变。它标志着多模态大模型竞争已从“参数规模”转向“架构效率”与“交互体验”。未来，谁能用更少数据、更低延迟实现更自然的交互，谁就能在智能车载、智能家居、AR眼镜等万亿级场景中抢占先机。这是中国AI基础研究一次极具价值的探索。

## 常见问题解答 (FAQ)

### Stream-Omni和GPT-4o有什么区别？
Stream-Omni同样面向语音、视觉、文本的多模态交互，但更强调高效架构与低门槛训练。文章提到它通过序列拼接和CTC层映射实现模态对齐，并能在语音交互中实时输出中间文本结果。

### Stream-Omni需要多少数据训练？
文章明确提到，Stream-Omni基于少量全模态数据训练，例如约23000小时语音数据。其重点不在超大规模数据堆叠，而在于通过对齐机制和多任务学习提升训练效率。

### Stream-Omni适合哪些应用场景？
文章列举了智能车载、教育辅助、智能家居、医疗辅助诊断和智能客服等场景。它适合需要语音、视觉和文本协同交互的任务，尤其适合强调实时反馈与自然交互的应用。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
