AIGC.BAR 首页
ARTICLE SIGNAL

DeepSeek开源DeepInfer推理引擎：重塑LLM大模型效率与AI新闻解读

DeepSeek全面开源自研大模型推理框架DeepInfer与组件deepseek-recipe,日吞吐达155万亿Token,Prefill与Decode解耦,96%缓存命中率,推动AGI算力普惠,更多前沿AI资讯与大模型落地动态尽在AI门户

type
status
date
slug
summary
tags
category
icon
password
网址
人工智能领域再次迎来里程碑式的开源震荡。在各类大模型（LLM）竞相追逐参数规模与生成能力的当下，如何以极低成本、超高吞吐实现线上落地，始终是阻碍AGI技术普及的行业顽疾。近日，DeepSeek正式开源了其支撑线上超大规模业务的核心自研推理框架——DeepInfer，以及与之配套的生产级Token编解码组件deepseek-recipe。
在官方公布的数据中，这套系统曾支撑单集群单日服务高达155万亿Token的恐怖吞吐量，平均首字延迟仅400毫秒，平均每张卡每小时产出极为惊人的商业效益。这场开源不仅展现了技术自信，更被业内视为开源阵营向闭源巨头打响的效率突围战。想要了解更多全球前沿AI资讯与大模型产业动态，欢迎持续锁定专业的AI门户，第一时间获取最新AI日报与深度技术剖析。

Prefill与Decode解耦：异构集群各司其职

大模型推理流程本质上包含两个计算特性截然不同的阶段：Prefill（预填充阶段）与Decode（解码生成阶段）。
在Prefill阶段，模型需要一次性摄入包含系统提示词（Prompt）、长文本上下文、聊天记录或上传文件的海量Token，此时模型需要充分利用张量算力构建KV缓存（KV Cache），属于典型的计算密集型任务。而在随后的Decode阶段，模型每次只能生成一个Token，计算过程重度依赖显存带宽来读取海量模型参数和历史缓存，属于典型的显存/带宽受限型任务。
以往的推理引擎往往将这两步混合在同一套算力节点中处理，容易造成算力与带宽的双重闲置。DeepInfer彻底打破了这一桎梏，实行了彻底的计算解耦：
  • Prefill阶段独立部署：采用通用的8卡计算节点，专攻高并发Prompt的矩阵计算，迅速形成中间结果。
  • Decode阶段超节点部署：采用64卡至128卡的高速互联超节点，专注于超高速的流式Token输出。
  • 多模态前置分流：若请求包含复杂图片输入，则直接分流至独立的图像编码模块，避免视觉Token挤占核心语言算力。
通过这种对等比例（如64卡Prefill对64卡Decode）的解耦架构，DeepSeek把整个大模型推理系统的效率提升到了工业级的新高度。

96%缓存命中率：前缀KV Cache与海量存储的工程奇迹

在智能体（Agent）和多轮对话应用爆发的当下，模型每一次调用工具或继续追问，都需要把之前的System Prompt、工具元数据以及历史上下文全量回传给模型。在传统架构下，这会导致大量重复Token被反复重算，浪费海量算力。
DeepInfer配合底层的超大规模分布式存储集群，交出了令人惊叹的答卷——全网平均96%的输入请求实现缓存直接命中。
当同一个前缀Token序列被命中时，Prefill阶段完全不需要重复计算，只需从分布式固态存储中读取已经算好的KV缓存，直接进入新增增量Token的计算。在实际测试中，单张加速卡在不命中缓存时的Prefill吞吐约为每秒6万Token；而在完全命中前缀缓存时，吞吐量暴涨至每秒150万Token，性能差距高达25倍。
为了支撑如此庞大的缓存池，系统针对不同业务特征设置了精细化的生命周期管理：普通聊天流量缓存保留长达7天，以应对高复用率的对话会话；Agent流量缓存保留3天，以降低存储水位。这种软硬件一体化的协同，让企业在构建复杂的长Prompt与Agent工作流时，无需再为高昂的算力账单感到焦虑。

细粒度算法优化：滑动窗口与DSpark推测验证

除了宏观架构的拆分，DeepInfer在微观算子与算法层面同样做到了极致压缩：
  • 滑动窗口注意力（SWA）优化：对于长文本处理中的非关键层，采用局部滑动窗口注意力机制，模型每步仅需关注局部的128个Token。对于部分需要重建窗口缓存的层，原本需要重新计算几千个Token，现在直接收敛到固定的128个Token常数开销，大幅消减了长文本推理的Prefill总计算量。
  • 自研DSpark异步推测解码：传统的投机采样通常机械性地固定验证若干个猜测Token，而DSpark能够动态评估每个Token候选序列被采纳的先验概率，主动放弃低概率分支，将宝贵的验证算力集中分配给最有希望的生成路径。
  • CPU与GPU流水线完全重叠：彻底消除了GPU计算完成后的空转等待。当GPU正在执行第N步的矩阵运算时，CPU已经同步在后台处理第N-1步的输出解析以及第N+1步的调度排队，让显卡算力时刻处于满载状态。
这一套精巧的微观组合拳，使得线上Decode阶段的单卡生成吞吐达到了每秒1.4万Token以上，极大加速了用户端代码补全、文字生成的即时响应感。

384个路由专家：MoE动态调度的极致负载均衡

面对拥有384个路由专家的超大规模混合专家模型（MoE），如何在分布式集群中分摊参数是一门巨大的学问。
DeepInfer在Decode阶段将384个专家均匀分散在64张加速卡中，单卡承载6个常驻专家，并动态部署1个当前高频命中的热门专家副本。通过这种分配，单卡每一步需要从显存读取的权重参数被严格压低，进而容纳了数倍于以往的并发会话。
为了避免出现个别专家被过度调用导致单卡过载的“热点”问题，系统内置了动态负载重平衡机制：每1000步收集一次专家的调用频次热度，每10000步重新动态调度副本专家。经线上大规模实测验证，系统中最繁忙的加速卡负载仅比平均值高出9%，整个分布式推理集群达到了离线理想负载状态的80%以上，展现了极其精湛的分布式系统工程调度能力。

算力普惠与生态重构：开创大模型落地新格局

DeepSeek本次除了开源DeepInfer本身，还一并放出了deepseek-recipe。这一组件原生兼容了OpenAI（如Chat Completions模式）与Anthropic（如Messages格式）的主流接口格式，实现了异构API标准的无缝转换，同时严密保护了模型内部特殊的结构化控制Token。这极大降低了全球开发者将现有应用从chatGPT或claude迁移到开源模型的工程门槛。
随着AI技术的狂飙突进，围绕大模型构建商业落地与AI变现的探索正处于关键转折期。无论是优化企业的Prompt设计，还是搭建低延迟、高并发的垂直行业智能体，底层推理成本的急剧下降都是打开AGI普及大门的钥匙。DeepSeek选择全面开源其线上经受过千亿级流量考验的核心框架，无疑将推动整个人工智能产业从闭源垄断加速走向真正的算力普惠。
获取更多关于LLM前沿技术突破、大模型部署实战以及每日最新的AI新闻，欢迎持续访问AI门户，纵览行业脉搏，共赴智能化浪潮。
Loading...

没有找到文章