DreamMat：根据文字描述生成高质量基于物理渲染的材质

　　近期研究取得突破，通过2D 扩散模型在未纹理的原始网格上生成外观。然而，这些方法生成 RGB 纹理时往往包含不必要的固定阴影效果，在下游应用中导致渲染效果不真实。与其只生成 RGB 纹理，生成物理渲染(PBR)材质可能是一个更有前景的解决方案。然而，直接从2D 扩散模型提取 PBR 材质参数仍然存在材质分解不正确的问题，例如在反照率中固定的阴影效果。

　　效果展示视频如下：

　　DreamMat 应运而生，致力于解决上述问题，通过文字描述生成高质量 PBR(基于物理渲染) 材质。发现大规模2D 扩散模型只能训练生成最终着色颜色，导致在提取过程中材质分解不足的问题。

　　为了解决这个问题，其大致流程为，首先通过微调新的光照感知2D 扩散模型，使其根据给定光照环境条件，生成特定光照条件下的着色结果。然后，在材质提取过程中应用相同的环境光，DreamMat 可以生成高质量的 PBR (基于物理的渲染)材质，不仅与给定的几何一致，而且在反照率中不包含任何固定的阴影效果。

　　大量实验表明，通过这种方法生成的材质对用户更具吸引力，并在渲染质量上显著优于基准方法，适用于游戏和电影制作等下游任务。