# Oryx – 腾讯联合清华和南洋理工大学推出的多模态大语言模型

- Link: https://paooo.com/aigc-news/26626/
- Published: 2026-07-08T22:28:26+08:00
- Author: 站外新闻

## Oryx是什么

Oryx是由清华大学、腾讯和南洋理工大学联合推出的多模态大型语言模型（MLLM），基于两
项核心创新来处理视觉数据，预训练的OryxViT模型和动态压缩模块。OryxViT将任意分辨率
的图像编码为适合LLM的视觉表示，动态压缩模块根据需求在1到16倍之间压缩视觉标记。使
Oryx能灵活地处理不同分辨率和时长的视觉输入，无论是高清图像还是超长视频。Oryx在多个
视觉-语言基准测试中展现卓越的性能，特别是在空间和时间理解方面。

阅读目录

 * [Oryx是什么](https://paooo.com/aigc-news/26626/#oryx%e6%98%af%e4%bb%80%e4%b9%88)
 * [Oryx的主要功能](https://paooo.com/aigc-news/26626/#oryx%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Oryx的技术原理](https://paooo.com/aigc-news/26626/#oryx%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Oryx的项目地址](https://paooo.com/aigc-news/26626/#oryx%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Oryx的应用场景](https://paooo.com/aigc-news/26626/#oryx%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Oryx](https://paooo.com/wp-content/uploads/2026/07/Oryx-website-1.avif)

## Oryx的主要功能

 * **原生分辨率处理**：Oryx能处理任意分辨率的视觉输入，保留图像的全部细节，适用于
   高精度视觉信息的任务。
 * **动态压缩**：根据任务需求，Oryx能在1到16倍之间动态压缩视觉数据，处理长视频等
   大规模数据，提高计算效率。
 * **多模态理解**：理解和分析图像、视频和3D数据，提供丰富的空间和时间理解能力，适用
   于多种视觉-语言任务。
 * **上下文检索**：强化对视频内容的上下文理解，从广泛的上下文中检索特定信息。
 * **空间感知**：Oryx能准确把握3D空间中物体的位置和关系，增强对三维空间的理解。

## Oryx的技术原理

 * **OryxViT模型**：预训练的视觉编码器，将不同分辨率的图像转换为适合大型语言模型
   处理的视觉表示。
 * **自适应位置嵌入**：OryxViT使用自适应位置嵌入层，允许模型处理不同大小的图像，
   而不需要调整到固定分辨率。
 * **变长自注意力机制**：允许模型并行处理不同尺寸的视觉数据，提高处理效率和灵活性。
 * **区域注意力操作**：在动态压缩模块中，用区域注意力操作交互高分辨率和低分辨率特征
   图，减轻下采样的影响。
 * **混合数据训练**：基于包括图像、视频和3D数据的混合数据集进行训练，提高模型在多
   模态任务上的性能。

## Oryx的项目地址

 * **项目官网**：[oryx-mllm.github.io](https://oryx-mllm.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/Oryx-mllm/Oryx](https://github.com/Oryx-mllm/Oryx)
 * **HuggingFace模型库**：[https://huggingface.co/spaces/THUdyh/Oryx](https://huggingface.co/spaces/THUdyh/Oryx)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.12961](https://arxiv.org/pdf/2409.12961)

## Oryx的应用场景

 * **智能监控**：基于Oryx的视频理解能力，实时监控和分析监控视频中的事件和活动。
 * **自动驾驶**：在自动驾驶系统中，Oryx帮助解析和理解车辆周围的环境，提供更精准的
   视觉识别。
 * **人机交互**：Oryx能理解图像和视频内容，使人机交互更加自然和高效。
 * **内容审核**：在社交媒体和在线平台上，Oryx帮助自动识别和过滤不当内容。
 * **视频编辑和增强**：Oryx能自动视频编辑，如视频摘要、高光片段生成等。
 * **教育和培训**：在教育领域，Oryx提供图像和视频内容的智能分析，辅助教学和学习。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)