前OpenAI研究员推决策大模型：绕开文本生成，提速200倍

type

status

date

slug

summary

传统大模型的局限：为什么AI不一定要“聊天”？

要理解Jev的革命性，首先要看清当前生成式AI在软件后台应用中的痛点。本质上，chatGPT、claude等都是生成模型。当它们接收到一段Prompt（提示词）时，无论用户要求的是一段散文、一个JSON文件，还是几个固定的选项，模型底层都在不断预测下一个token。

这种设计在人机交互（Chat）场景中表现完美，因为人类需要解释、推理和开放式的回答。然而，当AI被嵌入到自动化软件后台时，情况就不同了。例如，一个电商风控系统可能只需要AI回答三个问题：“订单是否异常？”“属于哪种欺诈类型？”“风险等级是多少？”

如果使用传统的LLM，系统必须等待模型逐字生成包含字段名、数值、标点符号甚至多余解释的完整字符串，然后再通过代码去解析这段自然语言。这不仅消耗了大量的计算资源，增加了极高的延迟，还容易因为模型输出格式不稳定而导致程序崩溃。在追求极致效率的AI变现和企业级自动化流程中，这种“为了得到一个结果而强行生成一段话”的方式，无疑是一种巨大的算力浪费。

Jev的破局之道：从文本生成走向直接决策

面对上述痛点，Jev提出了一种全新的接口理念：“unstructured state in, typed probabilistic decisions out”（非结构化状态输入，类型化概率决策输出）。这意味着，Jev彻底抛弃了自回归的逐字生成模式。

在实际应用中，如果客服系统输入一段复杂的投诉记录，Jev不会像传统模型那样生成“建议转人工处理”的句子。相反，系统可以预先定义好需要的决策维度，Jev会通过其独特的并行采样器（parallel sampler）在一次查询中直接返回结构化结果，例如：“流失风险 82%”、“转人工 91%”、“退款 37%”。

这种直接输出概率和判断的方式，让程序可以直接拿着数值进入下一个逻辑分支，完全省去了中间的自然语言解析环节。虽然TypeSafe AI目前尚未公开其具体的网络结构和参数规模，但可以确定的是，Jev在输出接口和采样方式上进行了大刀阔斧的底层重构，这为人工智能在后台的高效运转提供了一种全新的解法。

RLCD训练方法：让AI的置信度更靠谱

除了架构上的创新，Jev还配套推出了一套名为RLCD（Reinforcement Learning for Calibrated Decisions）的新训练方法。过去，基于RLHF的训练主要为了让模型生成的回答更符合人类偏好、更“讨人喜欢”。而RLCD的目标则是：让模型在做结构化决策时，给出极其可靠的概率和置信度。

概率校准（Calibration）在自动化系统中至关重要。如果一个模型在100次判断中都给出了“90%的置信度”，那么这100次判断中最好真的有90次是正确的。如果模型过度自信或过度谦虚，下游的软件系统就无法根据其给出的概率做出正确的路由决策（例如：置信度低于80%交由人工审核，高于80%自动执行）。

通过RLCD，Jev力求成为一个“聪明的if语句（smart if-statement）”。这对于那些希望将AI深度集成到业务流程中以实现AI变现的开发者来说，是一个极具吸引力的特性。如果您对这类大模型训练技术的最新进展感兴趣，建议持续关注专业的AI资讯平台 https://aigc.bar 获取每日AI日报。

成本与速度的飞跃：提速200倍背后的逻辑

Jev发布时最引人注目的数据是“快200倍”和“便宜400倍”。从技术原理上剖析，这种量级的能力跃升并非魔法，而是源于任务的极度聚焦。

因为Jev面向的是结构化决策任务，它不需要自回归地生成几十上百个token，而是通过并行计算一次性输出所有预设维度的概率。在TypeSafe展示的与前沿模型的对比测试中，处理高信息密度的业务判断时，Jev的速度优势被无限放大。

当然，我们也必须客观地看待这些数据。这套基准测试（workflow eval）是基于TypeSafe设定的高度结构化场景进行的，且参考值是其他大模型的预测均值。这并不意味着Jev在通用推理能力上超越了顶级大模型，而是证明了在“特定决策流”这个赛道上，Jev的效率是传统生成式模型无法比拟的。此外，由于输出空间被严格限定在预设的schema内，Jev从机制上实现了类型错误率为0%，虽然这不代表它永远不会做错判断，但至少彻底杜绝了格式上的“幻觉”。

AI分工的新未来：生成与决策的解耦

Jev的出现，给整个AI行业带来了一个极具启发性的思考角度：未来的AGI系统，真的是由一个无所不能的超大生成模型包揽一切吗？

过去几年，我们习惯了将所有任务都交给一个通用的LLM。但随着AI应用向深水区发展，一种更合理的“AI分工方式”正在浮出水面。未来的软件架构中，可能会出现明确的角色划分：

像chatGPT、claude这样昂贵且强大的生成模型（System 2），将继续负责复杂的长程规划、深度的逻辑推理和开放式的自然语言生成；而像Jev这样的决策模型（System 1），则会被深深埋进代码的底层，每秒钟以极低的成本和极高的速度完成成千上万次的分类、路由、信息提取和状态判定。

在一个复杂的AI Agent系统中，不再需要每一步都调用昂贵的生成式API。这种“生成与决策解耦”的趋势，不仅将大幅降低企业应用AI的成本，也将极大地拓展AI在实时系统（如高频交易、实时风控、自动驾驶辅助）中的应用边界。

总结与展望

Diogo Almeida和他的Jev模型，向我们展示了人工智能发展的另一条极具潜力的分支。打破“AI必须聊天”的思维定势，专注于结构化决策的输出，不仅带来了200倍的速度提升，更重要的是，它为AI深度融入传统软件工程铺平了道路。

随着技术的不断演进，我们有理由相信，未来的大模型生态将更加丰富多元。专用决策模型与通用生成模型的协同作战，将加速真正意义上的自动化时代的到来。想要获取更多关于大模型架构演进、Prompt优化技巧以及前沿AI工具的深度解析，欢迎访问 https://aigc.bar，与全球开发者一起站在AI时代的最前沿。