大语言模型存在“跨语言理解鸿沟”：非英语提示词致回答质量下降17%

type

status

date

slug

summary

什么是跨语言理解鸿沟（CLCG）？

为了精准测量这种能力衰减，研究团队提出了“跨语言理解鸿沟”（Cross-Lingual Comprehension Gap, 简称 CLCG）这一全新评估指标。CLCG 专门用于衡量在保持内容、问题、参考答案、模型和评估单元完全一致的前提下，仅将文本语言从英语切换为目标语言时，模型回答质量的下降程度。

在具体的事实梳理层面，研究者构建了一个名为 ParallelQA-18 的专业人工翻译平行语料库。该实验对来自 5 个不同实验室的 5 款大模型进行了测试，涵盖了 150 篇文章和 18 种语言（包含英语作为参考基准、葡萄牙语作为高资源基准，以及 16 种覆盖不同资源等级的目标语言）。实验结果令人警醒：相较于英语，目标语言的平均 CLCG 达到了 0.078，这意味着非英语环境下的模型表现相对英语下降了约 17%。此外，研究还发现，语言资源的丰富程度与 CLCG 呈显著负相关——语言资源越匮乏，理解鸿沟就越大。

语言资源不平等对实际应用的影响

这一发现对全球 AI 产品的本地化部署与日常用法具有深刻影响。对于开发者而言，这意味着在构建多语种问答系统、跨国客户服务 AI 或本地化知识库时，不能简单地依赖模型在英文榜单上的优异成绩来推断其在其他语言中的表现。在实际用法中，若要确保非英语用户获得同等质量的服务，开发者可能需要针对特定语言提供更详细的上下文，或者采用专门针对该语种微调的垂直模型。对于企业用户来说，理解这一鸿沟有助于更理性地评估引入跨国 AI 解决方案的真实投资回报率。

英语中心主义带来的风险与局限性

该研究也着重指出了当前 AI 评估体系中存在的风险与限制。最主要的风险在于“英语中心化”的基准测试会系统性地高估大模型对低资源语言用户的服务质量。这种虚高的预期不仅会掩盖模型在复杂非英语任务中的缺陷，还可能加剧全球数字鸿沟，导致非英语母语者在获取 AI 赋能时处于天然劣势。此外，在盲测的人工配对评估中，人类评估者在 61.6% 的决定性判断中更偏好高资源语言的回答，这进一步证实了资源匮乏带来的输出质量滑坡限制。该研究本身的局限性则在于其目前的语料库规模（18种语言、150篇文章）仍有扩展空间，未来需要更广泛的语系测试来完善这一理论。

结论：呼吁构建真正多语种的AI生态

总而言之，大语言模型在英语环境中展示出的卓越能力，绝不应被理所当然地认为可以等量转化为其他语言的理解力。CLCG 的提出为 AI 行业的模型评测提供了一把新的标尺。未来的大模型研发不应仅仅满足于“能说多种语言”，更要致力于缩小甚至抹平不同语言间的理解鸿沟，从而推动建立一个真正公平、普适的多语种 AI 生态。