中移智库：2024年3d内容生成技术有哪些？3D内容生成应用场景

近年来3D内容生成技术不断推陈出新，不同方法侧重点不同，各有优势，将3D内容生成方法归纳为以下三类：

3D原生生成方法：3D原生生成方法是利用深度学习模型学习3D数据集，并直接生成物体或场景的三维模型。早期以3D原生生成方法为主，这种方法的优势在于可以生成较高质量的3D内容，且畸形、残缺控制较好，具备3D内容直接商用的潜力。

但该方法通常需要大量的3D训练数据集。典型的3D原生生成方法中，DreamTech提出了3D-DiT（2024），该方法使用3D变分自编码器将3D形状编码到潜在空间，然后通过扩散变换模型从这个潜在空间生成3D形状，此外还提供了将参考图像高分辨率信息和语义信息整合到3D生成过程的方法，使模型可以生成与给定参考图一致的3D形状。

今年8月DreamTech又推出了Direct3D-5B版本，进一步提升生成结果质量精度。此外，OpenAI近年来先后发布Point-E（2022）、Shap-E（2023），前者支持使用文本生成3D点云，即在空间中代表3D形状的离散数据点集，后者则利用神经辐射场（NeRF）等隐式神经表征，支持文本生成多样的3D物体资产，且收敛更快、支持纹理网格渲染。