3D生成新范式：VAST+清华DeG，智能密度控制降本增效

type

status

date

slug

summary

3D生成面临的共性挑战：资源分配的“短板”

当前3D生成技术，无论是侧重AI的生成模型还是传统的图形学渲染，都触及了同一个痛点：生成结果的复杂度固定、不够灵活，且难以将有限的计算预算高效分配到最关键的区域。例如，3D高斯（3D Gaussians）在渲染质量与效率上取得了良好平衡，但其优化过程中的“密集化”与“稀疏化”机制，虽然能适应物体本身的非均匀复杂度，却因其离散、不可微分的特性，难以直接被前馈式生成模型继承。这导致许多现有方法不得不采用固定的结构（如将高斯绑定于体素网格或为每个像素分配固定数量的高斯），牺牲了3D高斯最宝贵的灵活性。

DeG：从固定回归到概率采样，实现“空间智能密度控制”

VAST与清华大学提出的DeG，其核心突破在于将“高斯球中心在哪”这一固定回归问题，转变为一个从概率密度分布中进行采样的过程。模型不再直接输出一组固定的坐标，而是先学习一个3D空间内的概率密度分布。这个分布可以被理解为一种“空间智能密度控制”策略，它指示了哪些位置更值得放置高斯球，哪些位置则不那么重要。

在推理阶段，模型直接从这个学习到的分布中采样高斯球，从而构建出最终的3D高斯资产。这种方法带来了两个关键能力：

1. 任意数量采样：按需伸缩的灵活性

由于模型学习的是一个概率分布而非固定数量的输出，DeG在推理时可以根据实际需求灵活地采样不同数量的高斯球。这意味着，同一个模型可以生成适用于移动端、实时预览或低成本传输的轻量级3D资产（通过少采样），也可以生成用于高保真渲染、离线展示或复杂场景的高质量版本（通过多采样）。这避免了为不同质量档位重新训练模型的繁琐，实现了“一次训练，多处部署”，极大地提升了3D资产的可部署性和适应性。

2. 非均匀采样：将表示能力聚焦于复杂区域

DeG并非在整个3D空间内平均分配高斯球，而是通过训练过程中的渲染重构损失，将更多的采样预算自动导向物体真正复杂的区域。例如，薄结构、尖锐边缘、几何变化剧烈或纹理敏感的区域，能够自然地获得更高的密度；而平坦、规则、变化较小的区域则可以减少高斯球的数量。这使得模型真正具备了“哪里重要就把容量放哪里”的能力，有效避免了资源浪费，尤其是在低预算场景下，这种智能分配策略的优势更为显著。

算法突破：可学习的梯度信号

DeG最令人称道的技术难点在于，如何从渲染误差中学习到“空间密度分布”的梯度。由于采样过程本身不是一个普通的连续映射，渲染误差无法直接反向传播到密度分布参数。VAST与清华的研究团队为此构造了一个可训练的梯度信号——“渲染损失贡献梯度”（render loss contribution gradient），这本质上是一种面向高斯采样的策略梯度（policy gradient）。

其核心思想是通过比较“包含某个高斯球”与“不包含该高斯球”时的渲染损失差异，来评估该高斯球的边际贡献。如果移除一个高斯球导致渲染损失显著增加，说明该高斯球非常重要，应提升其所在区域的采样概率；反之，如果移除它影响不大甚至有益，则应降低该区域的采样概率。这种“这个高斯球到底值不值得被采到？”的策略学习视角，通过“difference reward”的形式，精确地刻画了高斯球的边际贡献，并可高效计算。

论文中提出了一种针对L1渲染损失的高效计算方法，使得这一原本依赖人工规则的密集化/稀疏化过程，转变为一个端到端可微、可学习、可批量训练的空间密度优化过程。这标志着3D高斯密度控制首次真正成为了一个优化问题，而非启发式设计。

应用价值与未来展望

DeG的出现，为3D AIGC带来了多方面的应用价值：

按预算伸缩的3D资产：同一个模型可以生成适应不同设备和性能约束的3D版本，极大简化了跨平台部署。

理解局部复杂度：模型能将有限的表示能力集中于细节和关键区域，尤其在资源受限时价值凸显。

游戏与XR适配：更容易适配不同设备等级和实时性能要求，提升用户体验。

3D内容平台效率：实现类似LoD（Level of Detail）的效果，为平台提供多质量档位的资产。

AIGC工作流优化：生成系统提供更可调、可部署的表示，而非单一静态输出。

机器人仿真与数字孪生：有限资源优先分配给影响感知的关键部分。

论文实验结果也证实了DeG的优越性，在同等高斯预算下，其视觉质量优于现有代表性方法，或在达到相近视觉质量时显著减少高斯数量。

从更长远的技术脉络来看，DeG提示了一个重要方向：3D生成模型不仅要负责“生成”，更要负责“资源分配”。这使得3D AIGC能够从“实验室效果”走向“实际可用”。未来的3D内容，可能不再是“一份静态答案”，而是能够根据设备、任务和预算动态调整的“活表示”。这意味着高模、低模、移动端版本，可能不再是割裂的资产，而是同一个对象在不同资源约束下的连续状态。

VAST与清华大学的这项工作，为AI驱动的3D内容生成开辟了新路径，预示着一个更智能、更高效、更灵活的3D内容创作与应用时代即将到来。

--- 如果您对AI技术、大模型应用及最新资讯感兴趣，可以关注 AI资讯 聚合平台 aigc.bar，获取最新的 AI, AI新闻, AI门户, AGI, LLM, 大模型, 提示词, openai, chatGPT, 人工智能, claude, AI日报, Prompt, AI变现 等前沿内容。