# OpenAI发布gpt-realtime：革命性语音模型，实时处理音频、图像，功能调用准确率飙升

- Link: https://paooo.com/aigc-news/13916/
- Published: 2026-06-23T01:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 单模型端到端处理音频，降低延迟并保留语音细节，提升实时交互自然度。
 * 指令遵循与功能调用显著增强，实测分数分别提升至30.5%和66.5%。
 * 支持图像输入与多语言场景，适合客服、教育、医疗等任务型语音[智能体](https://paooo.com/trends/)。

> **💡 站外导读：**随着语音交互成为AI落地的核心场景，传统模型的延迟高、指令理解弱、
> 功能调用不精准等痛点日益凸显。企业急需能实时处理多模态输入、精准执行复杂指令的
> 下一代语音智能体，以重塑客服、教育、医疗等关键行业的用户体验。OpenAI此次推出的
> gpt-realtime模型，正是瞄准这一行业缺口，旨在通过原生音频处理与深度优化，推动语音
> AI从“能听会说”向“高效行动”的范式跃迁。

## gpt-realtime 是什么

gpt-realtime 是 [OpenAI](https://paooo.com/tag/openai/) 最新推出的先进语音模型，
专为实际任务设计。模型能生成高质量、自然的语音，支持多种语言和语音风格，能理解非
语言线索并根据场景调整语气。模型通过Realtime API，支持图像输入，能基于图像内容展开
对话。gpt-realtime 在指令遵循和功能调用方面有显著改进，适用客服、教育、金融、医疗
等场景，为语音交互带来更智能、更灵活的体验。

阅读目录

 * [gpt-realtime 是什么](https://paooo.com/aigc-news/13916/#gptrealtime-%e6%98%af%e4%bb%80%e4%b9%88)
 * [gpt-realtime 的主要功能](https://paooo.com/aigc-news/13916/#gptrealtime-%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [gpt-realtime 的技术原理](https://paooo.com/aigc-news/13916/#gptrealtime-%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [gpt-realtime 的项目地址](https://paooo.com/aigc-news/13916/#gptrealtime-%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [gpt-realtime 的应用场景](https://paooo.com/aigc-news/13916/#gptrealtime-%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13916/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![gpt-realtime](https://paooo.com/wp-content/uploads/2026/05/gpt-realtime-website-
1.avif)

## gpt-realtime 的主要功能

 * **高质量语音生成**：gpt-realtime 能生成更自然、更高质量的语音，支持多种语言和
   语音风格，如“快速且专业地说话”或“用法语口音富有同情心地说话”。
 * **语音理解与交互**：模型能理解原生音频，准确捕捉非语言线索（如笑声），在句子中间
   切换语言，根据场景调整语气。
 * **指令遵循能力**：模型在遵循指令方面表现出色，指令遵循准确率从旧模型的20.6%提升到
   30.5%。
 * **功能调用优化**：从调用相关函数、把握调用时机及选用合适的参数调用函数这三个关键
   维度进行全方位优化，测试得分从旧模型的49.7%飙升至66.5%。
 * **支持图像输入**：通过Realtime API ，开发者能在会话中添加图像、照片和截图，让
   模型能基于用户实际所见内容展开对话。
 * **多语言支持**：模型在多种语言环境下，对字母数字序列的检测准确率大幅提升，推理
   能力测试中准确率达到82.8%。

## gpt-realtime 的技术原理

 * **单模型处理**：与传统的语音处理流程不同，gpt-realtime 通过单个模型直接处理和
   生成音频，减少延迟，保留语音中的细微差别，生成更自然、更富有表现力的响应。
 * **深度学习与训练**：模型在与客户的紧密合作下进行训练，专注于实际任务，如客服、
   个人助理和教育等，确保模型能更好地适应开发人员构建和部署语音代理的方式。
 * **多维度优化**：在语音质量、智能性、指令遵循和功能调用等多个维度进行优化，通过
   改进模型架构和训练方法，提高模型在各种实际场景中的表现。
 * **异步功能调用**：改进异步功能调用，使长时间运行的函数调用不中断会话流程，模型
   在等待结果的同时继续流畅的对话。

## gpt-realtime 的项目地址

 * **项目官网**：https://openai.com/index/introducing-gpt-realtime/

## gpt-realtime 的应用场景

 * **客服领域**：集成到客服中心，提供实时解决方案，提升客服效率和客户满意度。
 * **教育领域**：帮助学生练习语言发音和表达，提供实时反馈和纠正，提升语言学习效果。
 * **个人助理**：集成到智能音箱或智能手机中，为用户提供日程管理、信息查询、设备控制
   等服务。
 * **医疗领域**：医生实时记录病历，提高工作效率，减少手动输入的时间。
 * **娱乐领域**：用在开发语音交互游戏，提供更沉浸式的游戏体验，玩家能通过语音与游戏
   角色互动。

#### 📝 站长洞察 (Editor’s Insight)

gpt-realtime的发布，绝非一次简单的模型迭代，而是OpenAI在“多模态实时智能体”赛道上
的关键落子。其核心突破在于“单模型端到端处理”与“异步功能调用”的结合，这实质上是在
重构语音AI的架构范式——从延迟的流水线转向流畅的实时交互流。这呼应了行业从“对话式AI”
向“任务型智能体”演进的大趋势。功能调用得分从49.7%到66.5%的跃升，意味着语音助手将能
更可靠地执行预订、查询、控制等实际操作，这为商业化打开了巨大想象空间。结合图像输入
能力，它正在模糊听觉与视觉智能的边界，为具身智能、AR眼镜等未来终端埋下伏笔。对开发
者而言，这不仅是工具的升级，更是交互逻辑的重构：语音将从“辅助通道”升级为“核心操作
系统”。OpenAI正通过此类模型，持续巩固其在生成式AI基础设施层的统治力，一场围绕实时、
多模态、任务执行能力的军备竞赛已全面升级。

❓ 常见问题解答（FAQ）

gpt-realtime 适合哪些应用场景？

文章提到它适用于客服、教育、个人助理、医疗和娱乐等场景，尤其适合需要实时语音交互、
任务执行和多模态输入的语音智能体应用。

gpt-realtime 的功能调用提升有多大？

文中给出的测试结果显示，功能调用相关得分从旧模型的49.7%提升到66.5%，说明它在调用
函数、把握时机和选择参数方面更可靠。

gpt-realtime 和传统语音模型有什么不同？

它采用单模型直接处理和生成音频，减少传统流水线带来的延迟，并支持异步功能调用与图像
输入，更适合实时、多模态、任务型交互。

🔬 语宙深潜追问 · 进阶实操拆解

异步功能调用怎么避免打断对话？

把工具调用拆成“意图确认、后台执行、结果回填”三步，前台只保留最短确认语句，后台异步
拉取结果并在合适时机插入。关键是维护对话状态机，避免模型在等待工具返回时反复改口。

多模态语音场景怎么做评测？

不能只看ASR准确率，要同时测指令遵循、工具调用成功率、首响时延、打断恢复和长对话稳定
性。客服、教育、医疗的容错阈值不同，最好按场景建立端到端任务集，而不是只跑通用基准。

🗳️ 读者观点微投票 · 您的实战立场是？

实时语音AI最该先解决准确率还是延迟？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [GPT-Realtime-2.1 – OpenAI推出的新一代实时语音模型](https://paooo.com/aigc-news/23931/)
 * [GPT-Realtime-2：OpenAI 第二代实时语音模型发布，GPT-5级推理能力定义AI语音Agent新高度](https://paooo.com/aigc-news/10670/)
 * [OpenAI 发布 GPT-Live-1.1 全双工实时语音大模型：前后台架构解耦、动态插话与母语级多音色实测](https://paooo.com/ai-tool/40077/)
 * [GPT-Live – OpenAI 推出的新一代语音模型](https://paooo.com/aigc-news/28567/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/13916/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)