HouseCrafter - 东北大学和 Stability AI推出2D转换3D室内场景的技术

HouseCrafter是什么

HouseCrafter 是由东北大学和 Stability AI 推出的先进技术，将二维平面图自动转换成三维室内场景。基于一个网络规模图像训练的2D扩散模型，生成一致的多视图彩色（RGB）和深度（D）图像。图像自回归地批量生成，确保全局一致性，重建出高质量的3D场景。简化复杂虚拟环境的创建过程，基于用户交互功能，支持用户在平面图上移动家具轻松编辑场景布局，实时更新生成的3D场景。使HouseCrafter在建筑、室内设计和房地产等领域具有广泛的应用潜力。

HouseCrafter的主要功能

• 平面图到3D场景的转换：将2D平面图转换成完整的3D室内场景，如房屋模型。
• 多视图图像生成：生成场景在不同位置的一致多视图RGB和深度（RGB-D）图像。
• 自回归图像生成：先前生成的图像用作条件，指导生成相邻位置的新图像。
• 全局一致性：通过全局平面图和注意力机制确保生成图像的一致性。
• 3D场景重建：基于TSDF融合技术，从生成的RGB-D图像重建出3D网格模型。
• 用户交互和编辑：允许用户在平面图上移动家具等元素编辑场景布局，3D视图会相应更新。

HouseCrafter的技术原理

• 2D扩散模型：基于大规模网络图像训练的2D扩散模型，调整为生成RGB-D图像。
• 自回归批量生成：基于先前生成的图像，批量生成新图像，确保空间连贯性。
• 布局引导：用平面图作为全局布局引导，通过布局注意力层确保生成图像与平面图一致。
• 深度信息融合：在图像生成过程中同时考虑RGB和深度信息，提高几何和语义的一致性。
• 注意力机制：更新交叉注意力层，基于参考深度的几何信息，提升图像生成质量。
• 3D重建算法：基于TSDF融合技术，将多视图RGB-D图像转换成3D网格。

HouseCrafter的项目地址

• 项目官网：neu-vi.github.io/houseCrafter
• arXiv技术论文：https://arxiv.org/pdf/2406.20077

HouseCrafter的应用场景

• 建筑设计与规划：帮助建筑师和设计师快速将平面图转换为3D模型，更好地进行空间规划和设计评审。
• 室内设计：室内设计师创建和修改室内设计方案，预览家具摆放和装饰效果。
• 房地产营销：房地产开发商基于HouseCrafter生成的3D模型为客户提供虚拟房屋参观，增强营销材料的吸引力。
• 游戏开发：游戏设计师快速构建复杂的3D游戏环境。
• 虚拟现实 (VR) 和增强现实 (AR)：为虚拟现实和增强现实应用提供详细的3D室内场景，提升用户体验。
• 电影和动画制作：快速生成电影或动画所需的3D场景，提高制作效率。