DreamFusion是一款使用名为Imagen的文本到图像生成模型来优化3D场景的产品。
该产品具有分数蒸馏采样(SDS)功能,这是一种通过优化损失函数从扩散模型生成样本的方法。SDS允许在任意参数空间(例如3D空间)中优化样本。
该产品使用类似于神经辐射场的3D场景参数化来定义这种可区分的映射。DreamFusion添加了额外的正则化器和优化策略来改善几何结构,从而产生连贯的高质量法线、表面几何结构和深度,以及具有朗伯着色模型的可重定义NeRF。
DreamFusion的用例涉及为各种应用优化3D场景,例如视频游戏、虚拟现实体验和电影制作。




