谷歌重磅开源！Coral NPU：专为智能手表、AR眼镜打造的全栈AI平台，RISC-V架构赋能超低功耗推理

💡 站外导读：随着AI从云端向边缘设备渗透，智能手表、AR眼镜等可穿戴设备正面临性能、功耗和隐私的‘不可能三角’。传统方案要么功耗过高，要么开发体验碎片化，要么隐私保护薄弱。谷歌最新推出的Coral NPU，正是为了破解这一行业核心痛点。作为首个专为极致低功耗场景设计的全栈开源AI平台，它以RISC-V开源架构为基石，将高效的矩阵计算引擎与硬件级隐私保护相结合，旨在为下一代‘Always-on’智能设备铺平道路，标志着边缘AI进入一个全新的范式。

Coral NPU是什么

Coral NPU 是谷歌推出的全栈开源AI平台，专为低功耗边缘设备（如智能手表、AR 眼镜等）设计，能解决性能、碎片化和隐私三大挑战。Coral NPU基于 RISC-V 指令集，包含标量核心、向量执行单元和矩阵执行单元，能高效支持机器学习推理任务。Coral NPU 提供统一的开发者体验，支持 TensorFlow、JAX 和 PyTorch 等框架，通过硬件强制的安全性保护用户隐私。Coral NPU目标是实现全天候的 AI 体验，同时最大限度地减少电池消耗。

Coral NPU的主要功能

• 高效的机器学习推理：Coral NPU 是专为低功耗边缘设备设计的神经处理单元（NPU），能高效执行机器学习（ML）模型的推理任务。支持多种 ML 应用，包括图像分类、人物检测、姿态估计和 Transformer 等。
• 超低功耗运行：通过优化硬件架构，能在极低的功耗下运行（仅几毫瓦），适合在可穿戴设备、智能手表和物联网（IoT）设备上实现全天候的 AI 功能。
• 统一的开发者体验：提供完整的软件工具链，支持 TensorFlow、JAX 和 PyTorch 等主流 ML 框架。通过 IREE 和 TFLM 等编译器将模型优化为紧凑的二进制文件，便于在边缘设备上高效执行。
• 硬件强制的隐私保护：支持硬件级别的安全机制，如 CHERI 技术，能将敏感的 AI 模型和个人数据隔离在硬件强制的沙箱中，保护用户隐私。
• 可定制的架构：基于 RISC-V 指令集，Coral NPU 提供开放且可扩展的架构，支持开发者根据具体需求进行定制和优化。

Coral NPU的技术原理

• AI 优先的硬件设计：基于以 AI 为核心的硬件架构，优先优化矩阵运算引擎（Matrix Engine），这是深度学习中常见的计算密集型任务。通过减少标量计算的开销，将更多资源分配给 AI 任务，实现高效推理。
• RISC-V 指令集：Coral NPU 基于开源的 RISC-V 指令集架构，支持 32 位地址空间和多种扩展（如整数、浮点、向量运算）。RISC-V 的开放性和可扩展性使 Coral NPU 能根据不同的应用场景进行定制。
• 多组件协同工作：
  • 标量核心：管理数据流向后端核心，实现低功耗的传统 CPU 功能。
  • 向量执行单元：支持 SIMD（单指令多数据）操作，能对大型数据集进行高效处理。
  • 矩阵执行单元：高效的量化外积乘积累加（MAC）引擎，专为加速神经网络运算设计。
• 编译器工具链：提供从模型开发到设备部署的完整工具链。支持将 TensorFlow、JAX 等框架的模型通过 MLIR 中间表示进行优化，通过 IREE 编译器生成针对硬件优化的二进制文件。
• 硬件安全机制：支持硬件强制的安全技术，如 CHERI，通过细粒度的内存级安全和软件分区，将敏感数据和模型隔离在硬件沙箱中，防止内存攻击，保护用户隐私。

Coral NPU的项目地址

• 项目官网：https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/
• GitHub仓库：https://github.com/google-coral/coralnpu

Coral NPU的应用场景

• 情境感知：检测用户活动（如步行、跑步）、距离或环境（如室内/室外、移动中），启用“免打扰”模式或其他情境感知功能，为用户提供更智能的交互体验。
• 音频处理：支持语音和声音检测、关键词识别、实时翻译、转录以及基于音频的无障碍功能，提升设备的语音交互能力。
• 图像处理：实现人物和物体检测、面部识别、手势识别及低功耗视觉搜索，助力设备在视觉方面更智能地感知环境。
• 用户交互：通过手势、音频提示或其他传感器驱动的输入进行设备控制，为用户提供更自然、便捷的交互方式。