#AI推理
聚合与「AI推理」相关的文章、观点与实践记录。
打破训练与推理的壁垒:大模型参数与程序脚手架协同进化的后训练新范式
探讨最新AI前沿研究《Scaffold-Mediated Post-Training》,解析大语言模型如何通过发现、蒸馏与动态重编译机制,实现模型参数与程序推理脚手架的协同进化,显著提升复杂策略的内化能力。
蚂蚁集团开源原生混合推理模型 Ling-3.0-flash:124B 参数与低成本高效部署
蚂蚁集团正式开源其新一代原生混合推理大模型 Ling-3.0-flash。该模型采用 MoE 架构,总参数量达 124B,支持云端 API、单机私有化及高性能部署,为开发者和企业提供低门槛、低成本的 AI 应用落地解决方案。
啄木鸟蒸馏法:如何利用弱模型诊断并修复强模型的推理漏洞
最新AI研究提出了“啄木鸟蒸馏”(Woodpecker Distillation)框架,通过弱模型生成修复补丁,对比成功与失败的干预干预策略,以“弱指导强”的方式修复大模型推理漏洞。
AMD与Cerebras达成战略合作:联合发力AI推理硬件,CBRS股价大涨11%
AMD与Cerebras Systems宣布建立技术合作伙伴关系,双方将整合AMD Helios机架级解决方案与Cerebras的晶圆级引擎,打造超低延迟AI推理平台。受此利好推动,Cerebras股价大幅飙升。
Baseten融资10亿登顶110亿估值:AI推理服务商的爆发式增长与未来挑战
AI推理服务商Baseten拟融资10亿美元,估值达110亿美元,年化营收飙升20倍。深度解析其增长引擎、市场地位及未来AI基础设施的机遇与挑战。
国产GPU获SGLang「原生门票」:MUSA深度融合,AI推理生态新篇章
国产GPU摩尔线程MUSA成功合入全球顶级AI推理框架SGLang主线,标志着AI算力生态的重大突破,为大模型推理带来原生支持与效率提升。
AI文科推理有多离谱?林黛玉的外国平替难寻
大模型能否像人类一样进行类比推理?深入解读AI在寻找林黛玉外国平替时的“离谱”表现,揭示其推理能力的局限性与未来发展方向。
深度解读:从AlphaGo到DeepSeek,Claude如何引领AI推理未来
本文深入探讨从AlphaGo到DeepSeek R1的AI推理进化史,重点分析Claude Code等编程智能体如何通过逻辑思考重构科研与开发。了解Claude官网及国内使用技巧,掌握AI从统计模仿走向深度推理的未来趋势。
vLLM商业化Inferact融资1.5亿,清华学霸联创引领AI新基建
深度解读vLLM团队创业公司Inferact,融资1.5亿美元,估值8亿,清华特奖得主游凯超任联创。聚焦AI推理基础设施,降低大模型运行成本,AI资讯,LLM,大模型,人工智能,AI新闻。
GPT-5.2准确率飙至75%:揭秘无需微调的推理编排黑科技
GPT-5.2, Poetiq, Agentic System, ARC-AGI, ChatGPT国内使用, ChatGPT镜像站, AI推理, 大模型优化, ChatGPT官方中文版, ChatGPT不降智
Fast-dLLM v2:大模型推理提速2.5倍,开启AI效率新纪元 | AI新闻
深入解读Fast-dLLM v2,一种将自回归大模型(LLM)低成本适配为并行解码模型的新技术。通过少量微调,实现端到端吞吐量2.5倍提升,同时保持生成质量,探索AI推理效率新篇章。
AI推理革命:新TTS框架告别无效计算,拯救19%被埋没答案
深入解读SRCA框架,一种革命性TTS技术,通过答案聚类与检查点增强,解决大模型推理路径同质化,拯救19%被埋没答案,大幅提升AI推理准确率与效率。
SPIRAL:AI玩游戏竟能自学数学?推理能力免费升级新范式
SPIRAL框架利用零和游戏自对弈,让大模型在无监督下自主提升推理能力,实现从游戏技能到数学解题的惊人迁移,是AI推理训练的革命性突破。
Claude联手反击苹果AI论断:大模型推理真相与评估新视角
Claude与人类合著论文,深度剖析苹果AI研究争议,揭示大模型真实推理能力及评估方法缺陷,探讨Claude国内使用与官方指南。
华为FlashComm:三招破解大模型通算瓶颈,推理提速80%! (AI资讯解读)
深入解读华为FlashComm如何通过通算重组、以存换传、多流并行三大创新,解决大模型LLM推理通信瓶颈,实现80%性能飞跃。AI,大模型,昇腾,推理优化,AGI。
EMMA基准警示:多模态AI推理瓶颈凸显,AGI之路再添挑战 | AI资讯
EMMA基准深度揭示多模态大模型(MLLM)在视觉与文本融合推理上的短板,强调视觉推理为核心瓶颈,推动AGI发展需关注多模态AI的真实能力。AI资讯,LLM,大模型,人工智能,AI门户。
智谱API用户破700万:算力破局与大模型API直连新时代
智谱MaaS平台API用户近700万,启用超5万块国产算力芯片,大模型API直连,国内中转API,低价API服务,Claude API,gpt API,探讨AI推理效率提升与算力破局,揭秘大模型商业化与API毛利率背后的逻辑。