# 小米开源 MiDashengLM-Spatial：业内首个统一通用听觉与 3D 空间方位感知的端到端音频大模型

- Link: https://paooo.com/aigc-news/40070/
- Published: 2026-10-16T19:26:28+08:00
- Author: 站外新闻

> **💡 站外导读：**传统音频大模型往往只能解决“听到了什么内容”的单声道转写与分类问题，
> 却对“声音从哪个方向传来、如何移动”束手无策。小米 Dasheng 团队最新开源的 **MiDashengLM-
> Spatial** 首次在单一端到端架构中打通了通用语义理解与三维空间声学感知，以 Apache
> 2.0 商用友好协议开放权重及百万级空间声学训练管线，为智能汽车座舱分区交互与智能
> 家居声源追踪提供了开箱即用的工业级基座。

![小米开源空间音频理解大模型 MiDashengLM-Spatial](https://paooo.com/wp-content/uploads/
2026/10/xiaomi-midashenglm-spatial-architecture-1792149967816.avif)

MiDashengLM-Spatial 官方项目主页与双分支空间声学架构示意

## 一、 什么是 MiDashengLM-Spatial？

**MiDashengLM-Spatial** 是由小米 Dasheng 语音团队研发并开源的**端到端空间音频理解
大模型（Spatial Audio-Language Model）**。作为业界首个在单一神经网络架构内同时实现“
通用音频理解”与“三维空间声学感知”的开源基座，它以 `MiDashengLM-7B` 为底座，创新性
地引入了专门的 `Spatial-Dasheng` 编码器与层级语义到空间条件模块（HSSC）。

阅读目录

 * [一、 什么是 MiDashengLM-Spatial？](https://paooo.com/aigc-news/40070/#%e4%b8%80-%e4%bb%80%e4%b9%88%e6%98%af-midashenglmspatial)
 * [二、 六大核心空间听觉能力](https://paooo.com/aigc-news/40070/#%e4%ba%8c-%e5%85%ad%e5%a4%a7%e6%a0%b8%e5%bf%83%e7%a9%ba%e9%97%b4%e5%90%ac%e8%a7%89%e8%83%bd%e5%8a%9b)
 * [三、 底层架构创新与百万级仿真管线](https://paooo.com/aigc-news/40070/#%e4%b8%89-%e5%ba%95%e5%b1%82%e6%9e%b6%e6%9e%84%e5%88%9b%e6%96%b0%e4%b8%8e%e7%99%be%e4%b8%87%e7%ba%a7%e4%bb%bf%e7%9c%9f%e7%ae%a1%e7%ba%bf)
    - [1. 语义与空间解耦的双分支并行架构](https://paooo.com/aigc-news/40070/#1-%e8%af%ad%e4%b9%89%e4%b8%8e%e7%a9%ba%e9%97%b4%e8%a7%a3%e8%80%a6%e7%9a%84%e5%8f%8c%e5%88%86%e6%94%af%e5%b9%b6%e8%a1%8c%e6%9e%b6%e6%9e%84)
    - [2. 层级语义到空间条件机制（HSSC）](https://paooo.com/aigc-news/40070/#2-%e5%b1%82%e7%ba%a7%e8%af%ad%e4%b9%89%e5%88%b0%e7%a9%ba%e9%97%b4%e6%9d%a1%e4%bb%b6%e6%9c%ba%e5%88%b6hssc)
    - [3. 100 万空间声学场景与 Sim-to-Real 泛化](https://paooo.com/aigc-news/40070/#3-100-%e4%b8%87%e7%a9%ba%e9%97%b4%e5%a3%b0%e5%ad%a6%e5%9c%ba%e6%99%af%e4%b8%8e-simtoreal-%e6%b3%9b%e5%8c%96)
 * [四、 权威基准评测：空间推理逼近人类水平](https://paooo.com/aigc-news/40070/#%e5%9b%9b-%e6%9d%83%e5%a8%81%e5%9f%ba%e5%87%86%e8%af%84%e6%b5%8b%e7%a9%ba%e9%97%b4%e6%8e%a8%e7%90%86%e9%80%bc%e8%bf%91%e4%ba%ba%e7%b1%bb%e6%b0%b4%e5%b9%b3)
 * [五、 快速上手与开源项目地址](https://paooo.com/aigc-news/40070/#%e4%ba%94-%e5%bf%ab%e9%80%9f%e4%b8%8a%e6%89%8b%e4%b8%8e%e5%bc%80%e6%ba%90%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/40070/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

该模型不仅能精准识别语音、环境音与音乐内容，还能基于双耳音频输入捕捉声源方位、还原
移动轨迹、推理多声源之间的相对时空拓扑，甚至在多人同时开口的重叠声源场景下实现逐
帧级定位。目前，模型权重与推理代码已基于 **Apache 2.0 协议**全面开放，将重点落地
于小米人车家全生态中的智能汽车座舱与智能家居终端。

## 二、 六大核心空间听觉能力

 * **全向声源定位（Sound Localization）**：基于双耳时间差（ITD）与声级差（ILD）线索，
   精准判别声源处于左前方、右侧或正前方等空间象限。
 * **动态轨迹追踪（Motion Trajectory Perception）**：连续感知移动声源在三维空间中的
   运动方向、逼近速度与路径变化。
 * **多声源群组时空推理（Group Spatio-Temporal Reasoning）**：在多声源并发环境中
   推理相对位置关系（例如判断哪两个声源位于同一侧、谁更靠近麦克风阵列）。
 * **空间化语义问答（Spatialized Audio QA）**：将“听懂语义”与“锁定方位”深度绑定，
   直接回答诸如“坐在右侧的乘客最先点了什么饮品”等复合问题。
 * **全景声学场景描述（Spatial Audio Captioning）**：开放式生成包含所有声源身份、
   空间坐标、运动轨迹与时间先后顺序的结构化全场景描述。
 * **带方位标签的语音转写（Spatial ASR）**：按发言时间轴转写多人对话内容，并自动
   为每一句台词打上对应的说话人空间方位标签。

## 三、 底层架构创新与百万级仿真管线

### 1. 语义与空间解耦的双分支并行架构

为了让模型在习得空间感知能力的同时不产生“灾难性遗忘”，研发团队基于 `MiDashengLM-
7B` 设计了**语义支路 + 空间支路**并行的双分支拓扑。其中语义支路保持原有的高维语音
与声学事件表征，而新增的 `Spatial-Dasheng` 编码器则专门处理双声道双耳信号，对重叠
声源进行逐帧级空间建模。

### 2. 层级语义到空间条件机制（HSSC）

通过 **Hierarchical Semantic-to-Spatial Conditioning（HSSC）** 模块，模型能够将语
义支路中间层的上下文特征逐级单向注入到空间支路的对应层中。这种设计让空间定位能够
借助“正在发声的是什么物体/哪位说话人”的语义先验来消除混响歧义，同时完全隔离了对原
语义支路权重的干扰。

### 3. 100 万空间声学场景与 Sim-to-Real 泛化

针对真实标注空间音频数据极度匮乏的行业瓶颈，小米团队构建了一套可扩展的物理声学仿真
管线，合成了涵盖语音、自然环境声与音乐的 **100 万个三维空间声学场景** 及 **600 万
条经过事实校验的问答对（QA Pairs）**。评测表明，基于合成管线训练的模型在真实双耳
录音（Real-world Binaural Recordings）上展现出极强的零样本泛化能力。

## 四、 权威基准评测：空间推理逼近人类水平

在多项主流空间音频与通用音频评测基准中，`MiDashengLM-Spatial-7B` 均创下开源同尺寸
模型的最佳成绩（SOTA）：

  |  评测维度 / 基准集 |  MiDashengLM-Spatial-7B |  同类基线 (BAT-7B 等) |  核心技术亮点 |  
   |  **STAR-Bench 空间推理准确率** |  **70.3%** |  0.0% (BAT-7B) / 47.0% (Gemini-3.6-Flash) |  逼近人类听觉基准（73.7%），大幅领先主流闭源多模态模型 |  
 |  **MMAU-Pro 空间子集 / 全量得分** |  **55.4% / 56.4%** |  23.7% / 24.8% |  复杂多声源问答与时空推理得分翻倍 |  
 |  **Channel-Swap ACR（方位真实性）** |  **72.6%** |  7.4% |  证实模型依赖真实双耳物理声学线索而非语言偏见猜测 |  
 |  **单声道通用 ASR 与音频描述** |  **与 7B 基座持平** |  明显退化 |  引入空间感知支路后通用听觉能力零折损 |

## 五、 快速上手与开源项目地址

开发者可通过以下标准流程在本地部署推理环境（需准备 `(2, T)` 双声道音频输入）：

    ```
    # 1. 克隆官方代码仓库
    git clone https://github.com/xiaomi-research/midashenglm-spatial.git
    cd midashenglm-spatial

    # 2. 创建 Python 3.13 虚拟环境并安装依赖
    conda create -n midashengspatial python=3.13 -y
    conda activate midashengspatial
    pip install -r requirements.txt

    # 3. 运行官方双耳空间音频推理示例（自动从 HuggingFace 拉取权重）
    python example/inference.py
    ```

 * **GitHub 开源仓库**：`https://github.com/xiaomi-research/midashenglm-spatial`
 * **HuggingFace 模型权重**：`https://huggingface.co/mispeech/midashenglm-spatial`
 * **互动演示官网**：`https://jinbo-hu.github.io/midashenglm-spatial-demo/`
 * **arXiv 技术论文**：`https://arxiv.org/pdf/2610.11156`

#### 📝 站长洞察 (Editor’s Insight)

过去两年，端侧大模型在视觉（VLM）与单声道语音（ASR/TTS）上卷到了极致，但“空间声学
感知”一直是多模态具身智能与智能座舱缺失的关键拼图。小米选择将 7B 规模的 MiDashengLM-
Spatial 连同百万级声学仿真结论以 Apache 2.0 彻底开源，战略意图非常清晰：一方面直接
反哺 SU7 等智能汽车座舱的四音区/六音区声源精准锚定与全屋智能音响感知；另一方面通过
开源抢占具身智能机器人“听觉空间定位”的标准底座。对于从事车载语音、AR 眼镜及助听硬件
研发的团队而言，这是一个极具工程参考价值的开源标杆。