3D Gaussian Splatting 的演进：从实时新视角渲染到可部署的 4D 场景表示

如果你要为一个真实场景选择 3D 表示，今天最重要的判断已经不是“NeRF 还是 3DGS”，而是：场景是否需要编辑、碰撞、重光照和可靠几何；模型能否装进目标设备；输入是多视图照片、视频还是单张图像；内容是否会运动。

3D Gaussian Splatting（3DGS）在 2023 年改变了这个选择空间。它用一组带位置、尺度、旋转、不透明度和视角相关颜色的各向异性 3D Gaussian 表示场景，再通过可微的、可见性感知的 splatting 进行渲染。关键不是 Gaussian 这个数学对象本身，而是把连续体渲染的优化能力与 GPU 友好的排序、分块和 alpha 合成结合起来。原论文报告了 1080p 实时新视角渲染，并把训练和显示都拉进了传统图形硬件更擅长的路径。原论文

我的判断是：3DGS 的发展已经从“更快的 NeRF 替代物”进入“显式场景操作系统”阶段。研究热点正从单一的 PSNR/FPS 竞争，转向五个工程问题：表示是否结构化、几何是否可信、时间维度是否可建模、资产是否足够小，以及模型是否能从少量输入直接泛化。

2023：把神经渲染接到光栅化路径

NeRF 的基本路线是在每条相机光线上采样，再由神经网络查询密度和颜色。这种隐式表示适合连续优化，但训练和渲染都要反复进行体积采样。3DGS 采取了相反的工程取舍：从 Structure-from-Motion 得到的稀疏点开始，显式维护大量 Gaussian，并在训练过程中交替进行参数优化与 densification/pruning。

一个 Gaussian 可以近似写成：

G(x) = exp(−½(x − μ)^TΣ⁻¹(x − μ))

其中协方差 Σ 通过旋转和尺度参数化，允许 primitive 沿表面方向拉伸，而不是只能使用球形点。投影到屏幕后，渲染器按深度排序并做 alpha 合成。这样，空空间不再需要被逐点采样，GPU 也能处理大量相对规则的 primitive。

这带来了三个连锁结果：

训练不再完全受限于每条光线的采样次数；
渲染是显式数据结构上的排序与合成，容易达到实时帧率；
场景可以直接被删点、分层、加语义或绑定运动，而不必把所有操作都塞进一个黑盒网络。

代价也从一开始就存在：Gaussian 数量可能膨胀到百万级，颜色通常依赖球谐函数，模型体积和显存都不小；它更像“带软表面的视图合成资产”，而不是天然的 watertight mesh。

2023—2024：第一轮突破集中在几何和尺度

从渲染质量转向表面质量

原始 3DGS 优先优化训练视角上的颜色重建，因此浮动点、薄片和跨视角不一致并不罕见。SuGaR 通过表面对齐正则化，再用 Poisson reconstruction 从 Gaussian 中提取 mesh；这条路线的意义在于把 splat 资产连接到碰撞、测量和传统 DCC 工作流，而不是只追求“看起来像”。SuGaR

用结构化表示减少冗余

Scaffold-GS 以 anchor 组织 Gaussian，不再让每个 primitive 都独立保存全部属性，而是根据视角和距离动态预测局部 Gaussian。论文明确把问题表述为：原始 3DGS 会用大量冗余 Gaussian 拟合每个训练视角，换取视图相关效果，但这会削弱大视角变化、无纹理区域和光照变化下的鲁棒性。Scaffold-GS

这代表一个重要转向：Gaussian 不再只是“点的集合”，而开始具有层级、anchor、LOD 和 view-adaptive decoding 等结构。对工程系统而言，结构化比单次 benchmark 提升更重要，因为它决定了流式加载、视锥裁剪和多设备部署是否可行。

从静态照片走向视频和大场景

动态场景不能简单地为每一帧复制一套 3DGS：存储会按时间线性增长，跨帧身份也会丢失。4D Gaussian Splatting 将 3D Gaussian 与 4D neural voxel 结合，用轻量 MLP 预测时间上的形变；其论文在 RTX 3090、800×800 分辨率上报告了 82 FPS。4D-GS

另一类工作把动态区域拆分出来，并用几何和跨视角、跨时间的一致性约束保持结构。DeSiRe-GS 就采用运动掩码、几何正则化和 temporal cross-view consistency，同时处理城市驾驶场景中的静动态分解与表面重建。DeSiRe-GS 这说明动态 3DGS 的核心不是“给每个点多加一个时间坐标”，而是要在空间、时间和遮挡之间建立可追踪的对应关系。

对于城市级或长轨迹数据，单个场景的 Gaussian 集合也不够用。层级 3D Gaussian 表示把大场景切成 chunks，再组织成带 LOD 的层级以支持按视点加载和实时导航。Hierarchical 3D Gaussian Representation 代表了从“单个资产的渲染算法”到“场景数据库的可见性管理”的变化。

2024—2025：存储和训练成本成为主战场

3DGS 的实时渲染优势很容易在文件大小上被抵消。每个 Gaussian 至少要保存位置、尺度、旋转、不透明度和颜色；如果保留较高阶球谐系数，单个 primitive 的属性还会继续增加。

LightGaussian 采用重要性剪枝、球谐降阶和向量量化，论文在 Mip-NeRF 360 与 Tanks & Temples 上报告平均约 15× 压缩，并将示例 FPS 从 144 提升到 237。LightGaussian HAC 则进一步利用 hash grid 建立无组织 anchor 之间的空间上下文，论文报告相较 vanilla 3DGS 超过 75× 的尺寸缩减。HAC

这些数字应当被当作论文实验条件下的结果，而不是通用保证。压缩的真实目标至少有三个：磁盘大小、解码/上传带宽和渲染时的有效 primitive 数量。只压低文件大小，却增加解码延迟或破坏近景细节，并不等于更好的部署方案。

2025 年的 PUP 3D-GS 将剪枝问题重新表述为对重建误差的空间敏感度估计：它用关于 Gaussian 空间参数的二阶近似构造剪枝分数，再通过多轮 prune-refine 保留前景细节。该工作在删除 90% Gaussian 的设置下报告平均 3.56× 渲染加速，并优于其比较的剪枝基线。PUP 3D-GS

与此同时，3DGS-MCMC 试图减少原始 densification/pruning 中的经验规则，把 Gaussian 看成来自场景分布的样本，并以 MCMC/SGLD 视角重新设计更新过程。它的价值不只在指标，而在于让“如何长点、如何删点”从一套手工启发式变成可分析的采样过程。3DGS-MCMC

2024—2026：从好看的视图走向可信的几何与可控渲染

3DGS 的一个根本限制，是投影和 alpha 合成并不自动等价于精确的三维可见性或表面交点。近景、极端视角、薄结构、镜面反射和未观测区域会暴露这一点。

Exact-GS（CVPR 2026）针对投影中的 affine approximation，引入闭式的精确 splatting 解和 Gaussian-tile 相交算法，目标是在保持硬件光栅化效率的同时，消除部分投影不一致。论文将应用扩展到 3D X-ray/CT 重建和新视角合成。Exact-GS

这里的方向很值得关注：未来的“高质量”不应只意味着训练视角上的感知相似度，还应包含几何一致性、遮挡正确性、跨尺度稳定性，以及对物理成像过程的正确建模。

大场景中的另一个瓶颈是遮挡。Proxy-GS（CVPR 2026）使用快速 proxy 生成遮挡深度图，同时指导训练时 densification 和推理时 culling；论文在高遮挡的 MatrixCity Streets 上报告相较 Octree-GS 超过 2.5× 加速，并改善渲染质量。Proxy-GS

这类工作把可见性从“渲染器内部的优化细节”提升为训练和部署共享的先验。它可能比单纯增加 GPU 并行度更能决定城市级资产的成本曲线。

另一条支线：生成式和可泛化 Gaussian

原始 3DGS 通常需要一组带相机位姿的多视图图像，并为每个场景优化。生成式 3DGS 试图把场景优化变成模型推理：从单张图像、少量视图或文本生成 Gaussian，再用扩散模型补足不可见区域。

GALA3D 将布局控制引入文本到 3D 的 Gaussian 生成，使复杂场景中的对象组成和空间关系更可控。GALA3D 这类方法把 3DGS 从“捕获真实世界”推向“生成可导航场景”，但必须区分两种质量：训练输入附近的视图逼真度，以及未观测区域是否符合真实三维结构。后者本质上带有生成模型的先验和幻觉风险。

可泛化模型则希望在新场景上不再逐场优化。pixelSplat 从图像对直接预测 Gaussian，MVSplat 用稀疏多视图的 cost volume 预测 Gaussian，Flash3D 则把 feed-forward Gaussian Splatting 扩展到单图像场景重建。pixelSplat MVSplat Flash3D 工程收益是近实时推理，代价是模型需要覆盖更广的数据分布，并且相机位姿、遮挡、反射和稀疏视图都会把泛化问题放大。

因此，单图生成 Gaussian 最适合被理解为“带三维先验的视图合成”，不能直接等同于测量级重建。若后续任务是 AR 导航、机器人抓取或 CAD 编辑，应优先检查几何和不确定性，而不是只看一张渲染图。

一张技术路线图

3D Gaussian Splatting 从 2023 年实时新视角渲染到 2026 年精确性和互操作标准的研究时间线 — 研究重心逐渐从单一画质与 FPS，转向结构、时间、压缩、精确性和资产互操作。

阶段	主要问题	代表性突破	新增能力	仍然缺什么
2023	NeRF 渲染与训练太慢	各向异性 Gaussian + 可见性感知 splatting	高质量实时新视角渲染	资产大，几何弱，主要面向静态场景
2023–2024	Gaussian 冗余、近景和大场景效率	anchor、LOD、层级表示、表面对齐	结构化组织和更好的表面提取	复杂遮挡、编辑和重光照仍不稳定
2024	视频中的运动与跨帧一致性	4D Gaussian、形变场、持久身份	实时动态视图合成	长时序、拓扑变化、遮挡恢复困难
2024–2025	存储、显存和解码成本	剪枝、量化、上下文熵编码、不确定性剪枝	更接近端侧和浏览器部署	质量—大小—解码速度尚无统一标准
2025–2026	未观测视图、投影误差和大规模遮挡	生成式/可泛化 GS、精确投影、遮挡 proxy	少视图生成、物理成像和城市级渲染	真实几何、可靠性和跨数据分布验证

对工程选型的实际含义

如果目标是博物馆、房产、文化遗产或虚拟制片中的“可自由浏览”，多视图采集加静态 3DGS 仍然是很强的基线。优先投资在采集覆盖、相机标定、曝光一致性、层级加载和压缩，而不是盲目更换算法。

如果目标是机器人、测量、碰撞或资产编辑，应把 Gaussian 当作外观表示，再配合深度/法线先验、表面重建或显式 mesh。渲染质量高不能证明碰撞几何可靠。

如果目标是人、车辆和动态物体，需要先明确是“可回放的视频视图”还是“可交互的对象模型”。前者可以采用 4DGS 或形变场；后者还要解决身份、拓扑变化、遮挡和动作外推，不能只用每帧的画面指标验收。

如果目标是移动端、Web 或大规模云分发，评估指标应至少同时记录：资产大小、首次加载时间、解码时间、显存峰值、视点变化下的帧率、近景质量和失败区域。论文中的平均 FPS 不足以预测端到端体验。

结语：下一步不是更多 Gaussian，而是更好的场景契约

3DGS 最初的突破是表示和渲染协同设计：它把神经渲染的视觉质量带到了显式 primitive 和 GPU 光栅化的交汇处。随后几年的研究没有推翻这个核心，而是在补齐一个可用三维资产必须具备的契约：结构化组织、可信几何、时间一致性、可压缩存储、可控生成和可预测的可见性。

因此，未来真正有影响力的系统很可能不是某个在单一数据集上多几个百分点的方法，而是能同时回答以下问题的表示：我能否知道它在什么视角下会失败？能否按带宽和设备预算加载？能否从静态变成动态而不复制资产？能否被编辑、测量和重新照明？能否把不确定区域明确暴露给上层应用？

3DGS 已经解决了“能不能实时看”的问题。下一个阶段要解决的，是“能不能可靠地用”。