深度解析Milvus 3.0重磅开源：重塑AI大模型检索边界

type

status

date

slug

summary

湖原生基建：数据零搬运，解锁AI存储新范式

Milvus 3.0 最具颠覆性的架构变革在于其“湖原生（Lake-native）”基础设施。过去，大模型应用在处理向量数据时，必须先将数据导入向量数据库才能建立索引和检索。而现在，Milvus 打破了这一传统范式。

1. External Collections：直连数据湖的检索引擎 许多 AI 团队早已将 Embedding 存放在数据湖内（如 Lance、Iceberg 表或 Parquet 文件）。Milvus 3.0 推出的 External Collections（外部集合）允许用户直接在 Milvus 中链接对象存储上的数据集。数据无需移动，Milvus 就能在原地构建向量索引、BM25 倒排索引及标量索引。这种“数据不动，计算走向数据”的模式，极大降低了数据同步与治理的额外成本。

2. Loon (Storage v3) 存储引擎：攻克随机点查瓶颈 对象存储虽然成本低，但在面对 ANN（近似最近邻）搜索后的大量随机点查时，往往面临严重的“读放大”问题。为此，Milvus 3.0 推出了基于 Manifest 管理的列式存储引擎 Loon。通过优化物理布局、解耦索引与数据格式，并默认采用高度契合 AI 场景的 Vortex 格式，Loon 将单次点查的 I/O 消耗降低了上百倍，让对象存储承载在线检索成为了现实。

3. Snapshots 与 Spark Connector：打通离线与在线闭环 AI 数据处理是一个持续迭代的闭环。Milvus 3.0 引入了极低成本的 Snapshots（快照）功能，为模型切换或数据重生成提供了一致的只读视图。同时，全新的 Spark DataSource V2 接口让 Spark 任务能像操作传统数据库一样读写 Milvus。这使得数据的清洗、聚类、评估和上线检索可以无缝衔接，大幅提升了数据流水线的效率。

检索引擎全面进化：更智能的端到端数据处理

除了底层的湖原生改造，Milvus 3.0 还将大量原本依赖应用层完成的后处理计算，直接下推到了引擎内部。这对于依赖openai等 API 进行复杂数据检索的应用来说，意味着更低的网络延迟和更高的计算效率。

1. 服务端 ORDER BY 与聚合计算 在以往的业务场景中，若要按商品价格或时效性排序，客户端必须拉取大量冗余数据。Milvus 3.0 新增了服务端 ORDER BY 功能，允许在引擎内部对 ANN 候选集按业务字段进行二次重排。同时，新增的聚合（Aggregation）与分面搜索（Faceted Search）能力，让系统无需将海量数据拉回客户端即可完成分组统计与分析，极大节省了带宽。

2. StructArray：完美适配多向量实体与 ColBERT 在真实的人工智能应用中，长文档、多帧视频或商品往往包含多个片段，而像 ColBERT 这样的模型会为每个 Token 生成独立向量。StructArray 允许在一行数据中保存变长的结构化数组，不仅统一了实体标识，还提供了灵活的检索粒度。配合 TokenANN、Lemur 等多种加速方案，Milvus 3.0 在索引体积与召回率之间提供了极佳的平衡。

3. 轻量化 BM25 索引与 SINDI 算法 针对混合检索需求，Milvus 3.0 对稀疏向量搜索进行了重磅优化。通过量化技术与分块压缩，新索引体积仅为前代版本的 1/3。同时，全新引入的 SINDI 算法针对学习型稀疏向量进行了深度优化，大幅提升了检索的 QPS，让传统全文检索和现代稀疏检索都能享受极致的性能体验。

敏捷迭代：在线Schema变更与未来路线图

在快速迭代的 AI 业务中，Schema 几乎不会一成不变。Milvus 3.0 支持在服务不中断的情况下增加、填充和删除字段。通过修改 Collection Manifest，用户可以轻松引入新的 Embedding 模型或标签，彻底告别了以往“改模型就需重建整个 Collection”的痛苦历史。

同时，Milvus 官方也公布了清晰的路线图。未来，Milvus 将继续完善谓词下推（Predicate Pushdown）、外部回填（External Backfill）机制，并拓展对 Delta Lake 等更多开放表格式的支持，进一步缩短“在线检索”与“离线数据迭代”之间的距离。

结语：Milvus 3.0 助力AI时代新基建

Milvus 3.0 的发布，不仅是 Milvus 自身架构演进的里程碑，更是整个向量数据库领域向“湖原生”与“端到端检索引擎”迈进的重要标志。无论是开发者自行部署的开源版 Milvus，还是由原厂团队打造的 Zilliz Cloud 全托管平台，它们都在以更高性价比为生产场景交付卓越的搜索与计算能力。

在这个大模型和AGI爆发的时代，掌握先进的底层基础设施是实现高效AI变现的关键。如果您想持续跟进最新的AI资讯、获取实用的提示词技巧，或者了解更多关于chatGPT和claude的深度解析，欢迎随时访问专业的AI门户——AIGC Bar，与我们一起站在 AI 技术的最前沿。