Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 给编程Agent装上“耳朵”!5.5K Star开源神器earshot全拆解:纯CPU离线听声辨位、922套程序化音效与MCP常驻闭环
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
earshot 开源项目主页:为 Claude Code 等编程智能体提供纯 CPU 离线听觉验证与程序化音效合成能力
Prompt 语宙 > AI 工具 > 给编程Agent装上“耳朵”!5.5K Star开源神器earshot全拆解:纯CPU离线听声辨位、922套程序化音效与MCP常驻闭环
AI 工具

给编程Agent装上“耳朵”!5.5K Star开源神器earshot全拆解:纯CPU离线听声辨位、922套程序化音效与MCP常驻闭环

Prompt 语宙研究院
最近更新: 2026年11月22日 下午2:17
AI音频 Claude Code earshot MCP 开源项目
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 纯 CPU 离线的 earshot 让编程 Agent 获得“听觉验证+代码合成”闭环,补齐感官盲区。
  • 内置 384 个家族、922 套声音设计,支持参数化重建与自然语言偏移音色特征。
  • 公开评测显示首选准确率达 91.8%~96.8%,并提供 VALIDATION/LIMITS 便于复现与避坑。

💡 站外导读:如今的编程 Agent 已经能独立写出完整的 Web 应用、小游戏甚至借助 three.js 渲染宣传片,但它们始终存在一个感官盲区:既听不见自己配上去的音效是否刺耳、是否和画面剪辑对齐,也无法精准挑选和调试声音资产。刚刚登顶 GitHub 热门(5,493 Stars)的 MIT 开源项目 earshot 专门填补这一缺口,通过纯 CPU 离线 MCP 服务赋予 Agent“听觉验证与代码合成”双重闭环。

打破 Agent 感官盲区:不做黑盒生成,而是“参数化合成 + 本地听觉质检”

从 692 条公共域录音提取数值模型,彻底告别云端抽卡式音频 API

与 ElevenLabs Sound Effects 等依赖云端神经网络直接采样生成音频的商业方案不同,earshot 选择了一条高度工程化且可复现的路线:仓库本身不打包任何音频文件,而是将声音建模为可计算、可微调的物理合成代码与多频带数值特征。基础安装包仅依赖 numpy、scipy、soundfile、soxr 与 numba(安装体积约 350 MB),首次调用完成 Numba 循环编译并落盘缓存后,后续在本地 CPU 上即可毫秒级离线渲染。

阅读目录
  • 打破 Agent 感官盲区:不做黑盒生成,而是“参数化合成 + 本地听觉质检”
    • 从 692 条公共域录音提取数值模型,彻底告别云端抽卡式音频 API
  • 听得见才能改得好:CLAP + AST 双耳模型与 20 个 MCP 工具全解析
    • 从“listen”离线监听、“build”部件拼装到“sheet/critique”影片音画同步审查
  • 实测精度与工程边界:作者公布的硬核评测指标与 Goodhart 陷阱警示
  • 落地实战指南:三步将 earshot 接入 Claude Code 本地音频工作流
      • 📝 站长洞察 (Editor’s Insight)

在核心资产库层面,earshot 内置了涵盖 384 个家族、共计 922 套声音设计的庞大目录(Catalog),覆盖界面交互音、日常拟音、环境音床、游戏动作、8-bit 芯片音、鼓组与宣传片转场音效。其中 309 套写实声音并非直接回放录音,而是从 692 条 CC0 公共域录音中提取每 2 毫秒 56 个频带的能量分布、音调比例与立体声像参数,再配合新鲜噪声与物理参数重新渲染——这意味着 Agent 可以用“much bigger, darker whoosh”这类自然语言直接偏移明亮度、硬度、空间感等 8 个共享维度,生成永不重复且完全免版权费的商业可用音频。

听得见才能改得好:CLAP + AST 双耳模型与 20 个 MCP 工具全解析

从“listen”离线监听、“build”部件拼装到“sheet/critique”影片音画同步审查

当涉及“听懂现有声音”或“自主拼装库里没有的新音效”时,earshot 通过可选的 listen 扩展在纯 CPU 环境下加载两个固定版本号的 safetensors 开源模型(合计约 1.1 GB 下载、占磁盘 2.2 GB):负责文本-音频跨模态语义对齐的 CLAP 模型(laion/larger_clap_general),以及负责标签校验的 AudioSet 分类器(MIT/ast-finetuned-audioset-10-10-0.4593),支持通过 EARSHOT_OFFLINE=1 强制全离线运行。

围绕这两个“耳朵”,earshot 向 Claude Code、Cursor 等智能体暴露了多达 20 个 MCP 工具以及两套 Agent Skills(skills/earshot 与 skills/real-sound)。Agent 不再需要每次启动 CLI 耗费 20~40 秒冷加载模型,而是以常驻进程随时调用 describe(语义描述与物理测量)、match/rank(多候选打分排序)、find(长录音精确定位)、realness(鉴真录音或代码合成)、timeline(逐秒音画事件转录)、sheet(输出带视频帧与频谱的审查大图),以及针对无库存声音的 build(配方拼装与 20 轮参数进化寻优)和 forge/fit(物理建模演进与录音转代码)。下表对比了 earshot 与传统云端 AI 音效方案的工程差异:

earshot sheet 生成的发布影片听觉转录谱图:同屏展示视频帧、事件时间轴、频谱图与响度同步校验
earshot sheet 生成的发布影片听觉转录谱图:同屏展示视频帧、事件时间轴、频谱图与响度同步校验
对比维度 earshot (GitHub 5.5K Stars / MIT) 云端 AI 音效生成服务 (如 ElevenLabs) 核心工程影响
声音生成机制 物理建模 DSP 代码 + 692 条 CC0 录音参数化重建 云端黑盒扩散/音频自回归模型直接采样 结果 100% 确定可复现,支持精细参数变形
控制粒度与资产形态 Python/JSON 配方,毫秒与音分级控制(–dur/–apex) 仅靠自然语言提示词反复抽卡,产出静态音频文件 易于纳入 Git 版本管理与自动化批量微调
质量检测与听觉闭环 内置 CLAP+AST 双耳评审 + 削波/DC/LUFS 无模型审计 无内置听觉质检,需开发者人耳逐条试听筛选 让编程 Agent 可自主迭代修复音画同步缺陷
部署成本与数据隐私 纯 CPU 离线运行(基础 350MB / 听觉模型 2.2GB),零费用 按生成时长/字符数计费,音频需上传云端处理 适合涉密研发项目与高频自动化渲染管线
earshot 与云端神经网络 AI 音效方案核心工程维度对比

实测精度与工程边界:作者公布的硬核评测指标与 Goodhart 陷阱警示

earshot 最受开源社区赞誉的一点,在于维护者没有只放 Demo,而是在 VALIDATION 与 LIMITS 文档中公开了完整可复现的评测脚本与失误边界。在请求匹配理解测试中,五个开发集的首选准确率达 91.8%~96.8%(Top-3 达 95.9%~99.1%),在未见过目录的 220 条盲测请求中也能保持 69.1%~76.4% 的命中率;针对 125 条真实录音的 match 强匹配判定,大类准确率高达 98%,精确变体命中率为 61%。

在核心听觉判别任务上,realness 工具在跨声音家族留一法测试中取得了 0.92 的 ROC-AUC 成绩(真声误判合成率 6.7%、合成误判真声率 5.5%);针对 60 秒成片混音的 timeline 扫描,能检出 93% 的音效事件(包含背景音乐掩蔽下 89% 的轻音事件),且在普通笔记本 CPU 上仅需约 1.5 分钟。不过作者也坦承其现阶段局限:第一,make 无法生成人声说话、歌唱或复杂旋律;第二,在 5 组 forge 合成音与真实录音的盲测中,人类听众正确辨别出合成音的比例为 8/15(接近随机猜测),但作者明确警告演化搜索会针对 CLAP/AST 模型产生“古德哈特(Goodhart)过拟合”——即模型分数越高并不绝对代表人耳听感越好,必须辅以无模型物理指标(削波、咔哒声、LUFS 响度与频谱平衡)和人工最终试听把关。

落地实战指南:三步将 earshot 接入 Claude Code 本地音频工作流

对于正在用 AI 开发独立游戏、交互式 Web 动效或自动剪辑视频的开发者而言,接入 earshot 几乎零成本。第一步推荐直接安装 CPU 版 PyTorch 后拉取完整包:`pip install “earshot[listen,mcp] @ git+https://github.com/Leonxlnx/earshot”`(注意 PyPI 上的同名包并非本项目,必须从 GitHub 仓库直装),并运行 `earshot doctor –fetch` 预先拉取并校验模型缓存。

第二步,通过命令 `claude mcp add earshot –scope user -e EARSHOT_THREADS=3 — earshot mcp` 将常驻 MCP 服务挂载到 Claude Code,同时执行 `npx skills add Leonxlnx/earshot` 安装音频协作技能,让 Agent 清楚何时直接渲染 `make –set ui –format webm,mp3 –sprite sprite`(一键生成包含 17 个界面音效的 Web 音频雪碧图与 howler.js 映射),何时先调用 `sheet` 检查影片音画踩点偏差。配合内置 252 个零依赖代码音效库(`earshot kit init –preset launch`),团队无需采购昂贵商用版权库或云端配额,即可在本地跑通“写画面—配声音—听检修正”全自动化生产线。

📝 站长洞察 (Editor’s Insight)

earshot 是近期少见把“AI 感知闭环”打磨得极其克制又扎实的开源项目。它没有去卷一个参数更大、生成更玄学的端到端音频大模型,而是精准切中了当前 Coding Agent 最大的工程短板——盲人摸象式地给前端、游戏和代码视频配音。用 350MB 纯 CPU 代码合成解决“确定性与零成本渲染”,再用固定版本的 CLAP 与 AST 充当 Agent 的独立“监工双耳”,还极其诚实地把盲测表现和 Goodhart 过拟合风险写进文档。对于正在构建多模态代码流水线的工程师来说,这套把听觉校验封装成 MCP 工具与 Skill 的工程范式,比单纯调几个云端 API 更有长久借鉴意义。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Claude Code ↗
Claude Code:人工智能安全和研究公司,面向AI 编程辅助场景提供便捷实用的在线功能支持,涵盖AI编程等
ElevenLabs ↗
AI文本转语音,支持包含中文在内的29种语言。
Claude ↗
Anthropic 打造的新一代安全人工智能模型,具备超长上下文理解能力,最强代码伴侣。
❓ 常见问题解答(FAQ)
earshot 适合编程 Agent 做什么?

它主要给编程 Agent 提供离线听觉能力:可做音效检索、匹配排序、长录音定位、音画同步审查,以及无库存声音的参数化合成与迭代优化,适合自动化音频工作流。

earshot 是云端音频生成吗?

不是。earshot 走的是纯 CPU 本地离线路线,核心是物理建模 DSP 代码和参数化重建,不依赖云端黑盒采样生成;同时支持本地听觉质检,便于隐私敏感场景使用。

earshot 的实测效果怎么样?

文中披露的请求匹配理解测试里,五个开发集首选准确率为 91.8%~96.8%,Top-3 达 95.9%~99.1%。作者同时在 VALIDATION 和 LIMITS 中公开了评测脚本与边界。

🔬 语宙深潜追问 · 进阶实操拆解
纯CPU离线部署怎么压住延迟?

优先把音频切片、特征提取和规则匹配做成流水线,减少大模型介入频次;常驻进程配合缓存与增量识别,通常比每次全量推理更稳,也更适合本地质检场景。

922套程序化音效该怎么接入工作流?

把音效库按事件、情绪、节奏三层标签化,再通过 MCP 暴露成可调用工具;让 Agent 先选场景再生成参数,能避免“听起来对但不贴任务”的问题。

🗳️ 读者观点微投票 · 您的实战立场是?
给编程Agent加听觉,真能显著提升实战效率吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
💻 所属权威专题:Claude & AI 编程 / MCP →
  • Stable Audio 3 开源发布:0.62秒生成20秒音频,音频创作门槛再降低
  • Stable Audio 3开源:本地秒级生成6分钟音频,重塑AI音乐创作格局
  • 彻底告别Python环境地狱!开源本地AI音频工作站 YoVoice 深度评测:C++推理底座、3秒零样本克隆与五线谱编曲全链路实战
  • Qwen-Audio-Agent – 阿里开源的实时语音 Agent 框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ElevenLabs
PrompTune
AI Plagiarism Checker
双击表冠倒带15秒、7天自动粉碎!苹果Apple Watch迎来Audio Intelligence:深度拆解实时回溯、Siri结构化摘要与安全隔离区隐私架构
Artflow AI
TAGGED:AI音频Claude CodeearshotMCP开源项目
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Meta FAIR 开源科学 AI 峰会:推进脑科学、化学模拟与 Lean 形式化数学基础设施 脑数据扩至2.5万小时、原子级模拟完整酶!Meta FAIR开源科学AI峰会全拆解:UMA Nitro、DINOv3机器人与4.5万条Lean形式化数学库ATLAS
下一篇 矩媒 MatrixMedia 开源多平台视频矩阵发布工具与 AI 智能体编排接口架构概览 让OpenClaw和Claude直接替你发全网视频!1.6K Star开源“矩媒 MatrixMedia”全拆解:8大平台矩阵分发、HTTP与9工具MCP联动
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

Wardrobe AI
AI 工具

Wardrobe AI

remaker
AI办公效率 AI智能体 AI绘画提示词 开源大模型
DreamGift AI礼品
AI 工具

DreamGift AI礼品

remaker
AI办公效率 AI智能体 亚马逊
问小白5大模型发布:国产AI巅峰之作,AA-Index 64.7分逼近GPT-5,多场景智能助手全面解析
AI 工具AIGC 资讯

问小白5大模型发布:国产AI巅峰之作,AA-Index 64.7分逼近GPT-5,多场景智能助手全面解析

Prompt 语宙研究院
AI助手 OpenAI 国产AI 智能决策 问小白5
智谱GLM-ASR开源:SOTA级端侧语音识别,1.5B参数实现方言耳语识别与隐私保护
AI 工具AIGC 资讯

智谱GLM-ASR开源:SOTA级端侧语音识别,1.5B参数实现方言耳语识别与隐私保护

Prompt 语宙研究院
AI输入法 GLM-ASR 智谱AI 端侧大模型 语音识别
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.