法律AI巨头Harvey放弃OpenAI云：月处理12万亿Token背后的API逻辑

type

status

date

slug

summary

引言：为什么顶尖AI公司不再迷信“全家桶”方案？

在当前的AI浪潮中，Harvey是一个特殊的存在。作为全球最大的法律AI公司，它的客户涵盖了世界顶尖律所和企业法务团队。在法律行业，Harvey被誉为“律师界的Salesforce”。然而，就在近期，其联合创始人Gabe Pereyra揭露了一个令人惊讶的技术决策：Harvey决定彻底自建云Agent基础设施，拒绝使用OpenAI Agents API、Anthropic托管平台或Google Vertex AI。

对于一家每月处理高达12万亿Token的公司来说，放弃现成的便捷方案转而选择“重资产”的自建之路，这背后的逻辑不仅关乎技术，更揭示了企业在追求国内中转API和低价API服务时的核心考量。

核心理由一：多模型路由，打破平台锁定

法律AI对准确性的要求近乎苛刻，任何微小的偏差都可能导致数千万美元的合规风险。Harvey发现，没有任何一家模型提供商能永远在所有任务上保持领先。

如果使用OpenAI的Agents API，你将被锁死在GPT系列模型中；使用Anthropic则只能调用Claude。但现实是，复杂的法律任务往往需要“组合拳”：合同摘要可能需要性价比极高的模型，而高风险条款审查则必须动用最顶尖的闭源模型。

通过自建基础设施，Harvey实现了一个抽象层。这意味着他们可以根据任务类型，动态地在Claude Sonnet 3.5、GPT-4o或DeepSeek之间进行路由。这种灵活性正是许多开发者寻找大模型API直连或Claude API中转服务的原因——不被单一厂商绑架，永远选择最合适的工具。

核心理由二：ZDR架构，安全合规的硬约束

在法律行业，“零数据留存”（Zero Data Retention, ZDR）是进入顶级律所的敲门砖。律师处理的并购信息、专利策略等数据，绝不允许在第三方服务器上落盘。

Harvey指出，大厂的托管平台（如OpenAI Agents）为了维持Agent的状态，通常会将中间状态写入磁盘。这与ZDR的合规要求在架构上是根本矛盾的。Harvey通过自建运行时，将所有Agent运行状态保留在内存中，会话结束即刻释放。这种对数据流向的绝对控制，是任何通用云平台都无法提供的。对于国内开发者而言，选择安全可靠的国内中转API，同样是为了在确保数据隐私的前提下，获得高性能的模型能力。

核心理由三：成本下降3-5倍的商业算盘

Harvey的Token处理量在短短五个月内增长了12倍，达到每月12万亿。在如此庞大的体量下，API的成本直接决定了利润率。

自建基础设施带来了两个关键的成本杠杆： 1. 精准路由：不需要所有任务都用最贵的模型，通过自建层将轻量任务分流至低成本模型。 2. 开源模型替代：随着DeepSeek v4 Pro、GLM-5.1等开源模型在法律基准测试（LAB）上逼近闭源模型，Harvey可以利用这些模型大幅降低支出。

据Gabe透露，自建后的成本比直接使用大厂托管平台降低了3到5倍。这正是目前市场上低价API服务受到追捧的底层逻辑——通过技术优化和资源整合，让企业以更低的门槛获取顶级AI能力。

核心理由四：模型差距缩小，开源力量崛起

Harvey分享的LAB（法律Agent基准）数据显示，开源模型正以前所未有的速度追赶。Claude Sonnet 4.6以86.9%领跑，但紧随其后的开源选手差距已不足1个百分点。

这意味着，拥有自建基础设施的公司，可以随时将gpt API或gemini API的任务切换到更具性价比的开源架构上。这种“模型中立”的策略，要求开发者必须掌握灵活的API接入能力。

结论：基础设施选型的“三年之问”

Harvey的选择给所有AI创业者提了一个醒：在选择基础设施时，不要只问“现在够不够快”，而要问“三年后如果要换，代价是什么”。

对于绝大多数企业而言，虽然未必有能力复制Harvey的完整云基础设施，但通过专业的国内中转API服务获取多模型能力，已成为一种共识。无论是追求低价API服务以降低成本，还是需要Grok api、Claude API等多样化模型支持，灵活、安全、高性价比的API接入方案始终是企业AI战略的核心。

在AI Agent从聊天界面转向复杂工作流的今天，掌控你的“运行时”和API路由，就是掌控了业务的护城河。