阿里FunAudio-ASR发布：幻觉率锐减70%，AI语音识别迈入“真理解”时代

type

status

date

slug

summary

引言

在人工智能（AI）浪潮席卷全球的今天，大语言模型（LLM）的“幻觉”问题一直是业界关注的焦点。当我们将目光从文本转向语音，这个问题变得更加棘手。传统语音识别（ASR）系统在嘈杂或复杂环境下，常常会“脑补”出不存在的内容，严重影响了技术的实用性。然而，这一瓶颈正在被打破。

近日，阿里巴巴通义实验室重磅发布了其端到端语音识别大模型——FunAudio-ASR。该模型通过一系列技术创新，在高噪声场景下将幻觉率从惊人的78.5%骤降至10.7%，降幅接近70%，标志着语音识别技术正从简单的“听清”迈向深度的“理解”。这不仅仅是一次技术迭代，更是AI领域的一大步。

攻克核心痛点：幻觉与串语种的终结者

语音大模型的幻觉，根源在于声学特征与文本特征在向量空间中的天然差异。模型在处理音频时，即使经过对齐训练，声学Embedding与纯文本Embedding之间仍存在差距，这导致大模型在生成文本时容易偏离原始音频内容，凭空捏造信息。

为了根治这一顽疾，通义实验室设计了创新的Context增强模块。其核心思想是“以AI治AI”：

快速初稿生成：利用轻量级的CTC解码器对音频进行第一遍快速解码，生成一个初步的文本结果。

上下文引导：将这个初步结果作为上下文信息（Context）或提示词（Prompt），与原始音频特征一同输入给核心的大语言模型。

精准解码：有了这份“草稿”作为参照，大语言模型能够更好地聚焦于音频内容本身，极大地减少了“脑补”和幻觉现象的发生。

这个巧妙的设计几乎不增加额外的推理耗时，却效果显著。

同样，该机制也有效解决了“串语种”问题。当模型面对中英夹杂的语音时，其内置的翻译能力有时会被错误触发，导致识别错误。而CTC解码器提供的纯净识别结果可以有效引导大模型专注于“识别”而非“翻译”，确保了输出的准确性。

不只是听懂：RAG赋能的深度定制化识别

在企业级应用中，通用识别能力远远不够。无论是人名、品牌名还是行业术语，精准识别这些“热词”是关键需求。传统方法是将这些词汇作为提示词直接输入模型，但随着词汇量增加，模型性能会急剧下降。

FunAudio-ASR在此基础上引入了RAG（检索增强生成）机制，将定制化能力提升到了新的高度：

构建专属知识库：将用户提供的定制词汇构建成一个专属的RAG知识库。

动态智能检索：根据CTC解码器生成的第一遍文本，从知识库中动态检索出最相关的词汇。

精准注入上下文：只将这些高度相关的词汇注入到大模型的提示词中，避免了大量无关信息的干扰。

通过这一方案，FunAudio-ASR能够支持上千个定制化词汇，同时保持极高的召回率和准确率。在钉钉的“AI听记”等实际应用中，它已经能够精准识别超过10个领域、200多个细分行业的专业术语，展现了其强大的商业落地潜力。

揭秘背后技术：千万小时数据与创新训练框架

FunAudio-ASR的卓越性能，离不开其坚实的技术底座和庞大的训练数据。模型架构包含音频编码器、音频适配器、CTC解码器和基于LLM的解码器四大核心组件。

在训练阶段，FunAudio-ASR堪称“数据巨兽”，使用了数千万小时的音频数据进行预训练。其训练流程极为精细，分为多个阶段：

自监督与有监督预训练：在大规模无标注和有标注数据上进行学习，为模型打下坚实的声学-语言基础。

五阶段有监督微调（SFT）：通过逐步优化不同模块、引入LoRA微调和全参数微调等方式，将音频特征与大模型的语义空间完美对齐。

创新强化学习（FunRL）：团队专门设计了FunRL框架，通过多目标奖励函数，协同优化识别准确率、幻觉抑制、关键词召回等多个指标。值得一提的是，整个RL训练仅用8张A100显卡在一天内便可完成，展示了极高的训练效率。

这一整套复杂的训练管线，确保了模型在各种真实、复杂场景下的鲁棒性和泛化能力。

从技术到应用：成本与场景的双重突破

技术的最终价值在于应用。FunAudio-ASR在设计之初就充分考虑了落地需求。它不仅提供了追求极致精度的“满血版”和平衡效率与精度的“nano版”，还支持低延迟流式识别，完美覆盖了视频会议、实时字幕、智能终端等多样化场景。

更具颠覆性的是其极具竞争力的定价。在阿里云百炼平台上，其API定价仅为0.00022元/秒，转录一小时的音频成本大约只需8毛钱。如此低廉的价格，无疑将极大地推动高质量语音识别技术的普及，让更多开发者和企业能够享受到AI技术带来的红利，探索更多AI变现的可能性。

结语：语音识别的范式转移，智能交互新入口

FunAudio-ASR的发布，不仅仅是又一个AI大模型的诞生，它更代表了语音识别技术的一次范式转移——从追求“听得清”的声学模型时代，正式迈入追求“听得懂、能理解”的生成式AI时代。

当语音识别系统具备了强大的语义理解和上下文推理能力，它将不再是一个简单的输入工具，而是成为连接人与数字世界的智能交互核心入口。从智能家居到车载系统，从企业会议到个人助理，一个更自然、更智能的人机交互未来正加速到来。

想要获取更多关于AI、大模型和AGI的前沿AI资讯和深度解读，欢迎访问AI门户网站 AIGC.bar，与我们一同见证人工智能的未来。