OpenAI语音革命：gpt-realtime发布，AI声音首次超越人类？| AI新闻

type

status

date

slug

summary

引言

在科幻电影《Her》中，主角与一个拥有迷人声线、善解人意的人工智能操作系统坠入爱河。这一场景曾被视为遥远的未来幻想，但现在，OpenAI正将这一幻想变为现实。近日，OpenAI深夜投下两枚重磅炸弹：全新的生产级Realtime API和堪称史上最强的语音到语音模型gpt-realtime。这不仅仅是一次技术更新，更可能是一场人机交互的深刻革命，预示着一个语音模型首次在综合能力上超越人类的“Her时刻”已经到来。

这次更新的核心是让AI的声音不再冰冷、机械，而是充满了与真人无异的语调、情感和理解力。从复杂的指令理解到无缝的多语言切换，再到直接拨打电话处理事务，OpenAI正为我们描绘一个由AI驱动的、更加自然流畅的未来。让我们深入解读这次更新，看看它将如何重塑我们与AI的互动方式。

gpt-realtime：不止于听，更在于“懂”与“情”

全新的gpt-realtime模型是本次更新的灵魂，它在四个核心维度上实现了质的飞跃，使其成为目前最先进的生产级语音模型。

1. 媲美真人的音频质量

自然的对话体验是语音智能体能否被广泛接受的关键。gpt-realtime在这方面取得了惊人突破。它的声音几乎消除了所有“机器味”，能够模仿人类的语调、情感和语速变化，创造出令人沉浸的交流体验。开发者甚至可以下达细粒度的指令，如“用快速、专业的语气说话”或“带上法国口音，用共情的语气表达”，模型都能精准执行。为此，OpenAI还推出了Marin和Cedar两款全新的超自然语音，并对现有语音进行了全面升级。

2. 超凡的智能与理解力

一个优秀的语音模型不仅要说得好听，更要听得懂。gpt-realtime展现出了前所未有的理解力。它能捕捉对话中的笑声等非语言线索，在句子中途无缝切换语言，并根据上下文调整语气。在内部评估中，它识别电话号码、车辆识别码等字母数字序列的准确性远超前代模型。在衡量推理能力的Big Bench Audio评测中，gpt-realtime的准确率从上一版的65.6%飙升至82.8%，展现了其强大的认知能力。

3. 精准的指令遵循与函数调用

要让语音智能体真正有用，就必须让它能准确地执行指令并调用外部工具。OpenAI着重强化了gpt-realtime在这方面的能力。 * 指令遵循：在衡量指令遵循准确度的MultiChallenge音频基准测试中，其得分从20.6%提高到30.5%，意味着它能更好地理解并执行复杂的、带有约束条件的用户指令。 * 函数调用：在衡量函数调用性能的ComplexFuncBench音频评测中，得分从49.7%大幅提升至66.5%。这意味着模型能更准确地判断何时调用何种工具（如查询天气、预订餐厅），并使用正确的参数。同时，异步函数调用的改进使得智能体在等待耗时操作结果时，依然能与用户保持流畅对话。

Realtime API：为开发者打造实时语音智能体的“瑞士军刀”

如果说gpt-realtime是强大的引擎，那么Realtime API就是让开发者能够轻松驾驭这台引擎的精密仪表盘和工具箱。它彻底改变了传统语音AI繁琐的开发链路。

传统的实现方式通常需要“语音转文本（ASR） -> LLM处理 -> 文本转语音（TTS）”的串联流程，这不仅增加了延迟，也容易在转换过程中丢失声音的细节和情感。而Realtime API采用一体化模型，直接处理音频流并生成音频流，极大降低了延迟，保留了更丰富的语音细节，使得对话体验无比流畅自然。

此外，新版API还带来了多项重磅功能： * 图像输入：用户可以将图片、截图等视觉信息发送给语音智能体，让AI能够“看到”你所看到的世界，实现“这张图里是什么？”或“帮我读一下这张截图里的文字”等多模态交互。 * SIP协议支持：通过原生支持，开发者可以轻松将语音智能体连接到公共电话网络（PSTN）或企业电话系统（PBX），让AI可以直接拨打和接听电话，完成预订、客服等任务。 * 远程MCP服务器支持：开发者可以灵活地为智能体扩展新能力，只需将会话指向不同的服务器，即可立即获得新的工具集。 * 可重用提示词：开发者可以保存和复用包含指令、工具、示例对话的Prompt，大幅提升开发效率。

AGI的先声？“Her”时刻已然降临

当一个AI能够用自然、富有情感的声音与你对话，理解你的复杂意图，看到你分享的图片，并为你打电话处理现实世界中的事务时，我们离通用人工智能（AGI）还有多远？许多体验过新功能的用户在社交媒体上惊呼“feel the AGI”，这并非夸张。

这次更新的意义远不止于技术参数的提升。它正在拆除人与机器之间最后一道感官和情感的壁垒。无论是让AI全程通过对话帮助你筛选房源，还是直接让它打电话给诊所预约医生，这些曾经只存在于科幻作品中的场景正在变为现实。

华人力量闪耀：两位95后研究员助力技术突破

在OpenAI这次重大发布的背后，我们再次看到了杰出华人研究员的身影。毕业于清华大学和MIT的Beichen Li，以及毕业于香港科技大学和南加州大学的Liyu Chen，作为OpenAI的技术研究员，在这次技术突破中扮演了重要角色。他们的加入再次证明了华人青年才俊在全球人工智能领域的顶尖创新能力和巨大贡献。

结论

OpenAI的gpt-realtime和Realtime API无疑是AI语音技术发展史上的一个里程碑。它不仅在技术上实现了对以往模型的超越，更在体验上无限接近甚至在某些方面超越了人类。那个只闻其声、如沐春风的“Her”时代，正以前所未有的速度向我们走来。这标志着人机交互将进入一个全新的、以语音为核心的自然交互范式。

想要体验和探索最前沿的AI技术，包括强大的ChatGPT和Claude等大模型，欢迎访问AI门户网站 https://www.aigc.bar，获取最新的AI新闻和最全的AI工具指南，与我们共同见证AGI时代的到来。