Thinking Machines 发布 Inkling：1T 参数开源多模态模型登陆 Hugging Face

type

status

date

slug

summary

引言

2026 年 7 月 15 日，Thinking Machines 的万亿参数开源多模态模型 Inkling 正式登陆 Hugging Face。这是首个同时具备约 1T 参数规模、1M 上下文窗口，并且能够原生接收图像、文本与音频输入的大型开源模型。它在 45 万亿 token 的文本、图像、音频和视频数据上完成训练，主打跨模态推理与领域微调适配，发布当天即获得 transformers、SGLang、vLLM 与 llama.cpp 的零日支持。

事实梳理：Inkling 的架构与能力

Inkling 采用仅解码器（decoder-only）的多模态混合专家（MoE）架构，总参数量 975B，单次推理激活参数 41B，共 256 个专家，Top-k 路由选取 6 个专家，另有 2 个始终激活的共享专家。它在架构上有几个明显区别于主流模型的设计：

用相对注意力取代常见的 RoPE，位置信息直接学习进注意力 logits；

采用 5:1 的滑动窗口注意力与全局注意力交替的混合注意力方案，最后一层为全局注意力，以兼顾长上下文效率与表征质量；

引入短一维卷积（SConv）读取当前 token 与滑动窗口内前序隐藏状态，辅助局部建模；

视觉端使用层次化 MLP patchifier 逐层合并像素，音频端将 100ms 音频块离散化为梅尔频谱 bin 后嵌入，多模态塔相对轻量，没有为每种模态配备独立大编码器。

推理方面，BF16 完整权重需要约 2TB 显存，校准过的 NVFP4 变体需要约 600GB 显存，可在 Hopper 与 Blackwell 代 GPU 上分别运行。模型附带 MTP（多 token 预测）投机解码草稿层，可在不改变输出的前提下加速生成。官方提供的实测样例覆盖药物成分相互作用、MMMU-Pro 物理题、多语种物理题、律师资格考试与信息图问答等专家级视觉推理题，绝大多数题目在中等及以上推理强度下答对；音频侧基于 BigBenchAudio 与 GlobeAudio 的逻辑谬误判断、物体计数和多语种转写测试也基本通过。

使用方法与生态支持

Inkling 提供多种接入路径。最省事的方式是通过 transformers 5.14.0 的 any-to-any 管道或 AutoModelForMultimodalLM 直接调用，tokenizer 支持从 none 到 max 的多档 reasoning_effort 参数，便于在成本与质量之间权衡。生产部署可选 SGLang（含定制实现，一条命令在 8 卡上以张量并行起 OpenAI 兼容服务）或 vLLM。没有本地算力的用户可以通过 Hugging Face Inference Providers 路由调用，发布期内平台补贴 2 小时推理费用（音频支持仍在完善中）。端侧与低资源场景下，llama.cpp 配合 Unsloth 的 1-bit GGUF 量化可将显存占用降低 95%，动态量化版本在缩小 86% 体积的同时保留约 74.2% 的 top-1% 精度。Thinking Machines 还演示了用极简编码代理框架 Pi 驱动 Inkling 完成数学推理与工具调用的玩法。

风险与限制

首先是硬件门槛极高：BF16 需要 2TB 显存、NVFP4 也要 600GB，意味着完整权重部署需要多节点集群，普通团队只能走量化或云端路由。其次，官方评测明确标注为 "vibe eval"，没有系统提示词、样本量小，不能替代正式基准对比；视频输入虽在架构上预留了时间维度，但官方坦言尚未评估开箱即用的视频性能。第三，官方测试显示开放式问答对提示词措辞敏感，中等推理强度（约 0.7）被认为是性价比较好的折中，盲目拉到最高档反而可能出现超出 token 预算的情况。最后，1-bit 量化虽然大幅降低成本，但精度损失明显，仅适合试验与轻负载场景。

结论

Inkling 把开源多模态模型的规模上限推到了万亿参数、百万上下文的新高度，并且在架构上给出了相对注意力、混合注意力与轻量多模态塔等一批值得研究的设计。短期看，它更像是研究机构和基础设施团队的"新玩具"；长期看，配合成熟的量化与推理生态，跨模态推理应用的成本曲线有望被进一步拉低。对中文开发者而言，关注其微调适配能力与 MTP 加速在实际业务中的表现，比追逐参数规模本身更有价值。

（本文基于 Hugging Face 官方博客改写，更多 AI 模型动态请访问 aigc.bar。）