# Sapiens – Meta推出的AI视觉模型，能理解图片和视频中的人类动作

- Link: https://paooo.com/aigc-news/27233/
- Published: 2026-07-09T16:10:08+08:00
- Author: 站外新闻

## Sapiens是什么

Sapiens是Meta实验室推出的AI视觉模型，专为理解图片和视频中的人类动作设计。支持二维
姿势预估、身体部位分割、深度估计和表面法线预测等任务，采用视觉转换器架构。模型参数
从3亿到20亿不等，原生支持1K高分辨率推理，易于针对不同任务调整。即使在标注数据稀缺的
情况下，Sapiens也能展现出卓越的泛化能力，为虚拟现实、增强现实等应用提供了强大支持。

阅读目录

 * [Sapiens是什么](https://paooo.com/aigc-news/27233/#sapiens%e6%98%af%e4%bb%80%e4%b9%88)
 * [Sapiens的主要功能](https://paooo.com/aigc-news/27233/#sapiens%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Sapiens的技术原理](https://paooo.com/aigc-news/27233/#sapiens%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Sapiens的项目地址](https://paooo.com/aigc-news/27233/#sapiens%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [如何使用Sapiens](https://paooo.com/aigc-news/27233/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8sapiens)
 * [Sapiens的应用场景](https://paooo.com/aigc-news/27233/#sapiens%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Sapiens](https://paooo.com/wp-content/uploads/2026/07/Sapiens-website-1.avif)

## Sapiens的主要功能

 * **2D姿态估计**：Sapiens能识别图像中人体的各个关键点，如关节等部位，帮助分析人体
   的姿势和动作。
 * **身体部位分割**：可以识别并分割图像中的不同人体部位，例如头部、躯干、手臂和腿
   部，对虚拟试穿和医学成像等领域非常有用。
 * **深度估计**：Sapiens能预测图像中每个像素的深度信息，从二维图像中生成三维效果，
   对增强现实和自动驾驶等应用至关重要。
 * **表面法线预测**：模型可以预测图像中每个像素表面法线的方向，为三维重建和理解物体
   的几何形状提供重要信息。

## Sapiens的技术原理

 * **视觉变换器架构**：Sapiens模型采用了视觉变换器（Vision Transformers, ViT）架构，
   架构通过将图像划分为固定大小的小块（称为patches），能有效处理高分辨率输入图像，
   并进行细粒度的特征提取。
 * **编码器-解码器结构**：模型使用编码器-解码器架构，其中编码器负责提取图像特征，
   解码器则根据这些特征进行具体任务的推理。编码器使用预训练权重初始化，而解码器是
   轻量级且针对特定任务的模块。
 * **自监督预训练**：Sapiens模型通过遮掩自编码器（Masked Autoencoder, MAE）方法进行
   自监督预训练，观察部分遮掩的图像并尝试重建原始图像，学习到鲁棒的特征表示。
 * **大规模数据集训练**：模型在超过3亿张野外人类图像上进行预训练，利用丰富的数据
   提高模型的泛化能力。

## Sapiens的项目地址

 * **GitHub仓库**：[https://github.com/facebookresearch/sapiens](https://github.com/facebookresearch/sapiens)

## 如何使用Sapiens

 * **环境准备**：确保计算环境中安装了必要的软件和库，比如Python、PyTorch等。
 * **获取模型**：访问Sapiens的官方项目页面或GitHub仓库，下载预训练模型或源代码。
 * **数据准备**：准备图片或视频数据。根据应用场景，需要对数据进行预处理，比如调整
   分辨率、格式转换等。
 * **模型加载**：加载预训练的Sapiens模型到计算环境中。如果需要针对特定任务进行微调，
   也可以加载自定义数据集。
 * **任务选择**：根据需求选择一个或多个Sapiens支持的视觉任务，例如2D姿态估计、身体
   部位分割等。
 * **模型微调**（如果需要）：使用数据集对模型进行微调，适应特定的应用场景。涉及到
   调整模型参数、损失函数等。
 * **模型推理**：使用加载和微调训练好的模型对输入数据进行推理，执行所选的视觉任务。

## Sapiens的应用场景

 * **增强现实（AR）**：AR应用，Sapiens可以提供精确的人体姿态和部位信息，实现虚拟
   对象与真实世界的自然交互。
 * **虚拟现实（VR）**：VR环境，Sapiens用于实时追踪和渲染用户的身体动作，提升沉浸
   式体验。
 * **3D人体数字化**：在3D建模和动画制作中，Sapiens能精确捕捉人体姿态和形态，加速
   3D内容的创作过程。
 * **人机交互（HCI）**：在HCI系统中，Sapiens用于理解用户的身体语言和手势，改善交互
   体验。
 * **视频监控分析**：在安全监控领域，Sapiens可以分析人体动作，用于异常行为检测或
   人流统计。
 * **运动捕捉**：在体育训练或游戏开发中，Sapiens可以用于捕捉运动员或角色的动作，
   进行动作分析。
 * **医学成像与康复**：在医疗领域，Sapiens可以帮助分析病患的体态和运动，辅助诊断
   和康复训练。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)