StereoCrafter – 腾讯开源将任意2D视频转为立体3D视频的框架

什么是StereoCrafter？

腾讯AIAFTer是StereoCrafter Lab和ARC Lab共同推出的创新框架可以将单目视频(2D视频)转换为立体3D视频，满足日益增长的3D内容需求。Stereocrafter基于三个核心步骤:深度估计、视频splating和立体视频修复，实现高保真度的2D到3D视频转换。Stereocrafter以预训练的稳定视频扩散模型为基础，微调立体视频修复任务，适应不同长度和分辨率的视频输入。Stereocrafter的开发提高了视频内容的沉浸感，为数字媒体的未来发展提供了新的可能性。

StereoCrafter的主要功能

• 2D到3D视频转换：将单目2D视频转换为沉浸式立体3D视频，适用于各种显示设备，如3D眼镜和Apple Vision Pro。
• 生成高保真度：采用深度学习技术，确保生成的视频具有高质量和一致性，满足现代3D显示设备的需要。
• 深度估计：基于先进的深度估计方法，获取输入视频的深度信息，为后续处理提供基础。
• 视频splating：视频变形采用深度图，生成右视图，提取遮挡代码，处理视频中的遮挡区域。
• 立体视频修复：填补变形后视频中的空缺区域，确保最终生成的三维视频完整自然。

StereoCrafter的技术原理

• 深度估计：从输入的单目视频中提取深度图，基于先进的深度估计模型(例如DepthCrafter)。
• 视频splating：基于深度图，将左视图视频变形为右视图，生成屏蔽代码，处理视频中的屏蔽。
• 立体视频修复：基于立体视频修复技术填补变形后视频中的空缺区域，生成最终的右视图视频。
• 流水线的数据处理：构建高质量的数据集支持模型培训，确保生成结果的高保真度和一致性。

StereoCrafter项目地址

• 项目官网：stereocrafter.github.io
• GitHub仓库：https://github.com/TencentARC/StereoCrafter
• HugingFace模型库：https://huggingface.co/TencentARC/StereoCrafter
• arxiv技术论文：https://arxiv.org/pdf/2409.07447

StereoCrafter的应用场景

• 影视制作：在电影和电视剧的制作中，将传统的2D视频材料转换为三维3D版本，为观众提供更沉浸式的观看体验，提高视觉效果。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，将单目视频转换为适合VR头显和AR设备的3D内容，以增强用户的沉浸感和互动性。
• 游戏开发：游戏开发者将2D游戏视频或动画转换为3D版本，丰富游戏的视觉表现，吸引更多玩家。
• 在线教育：在在线教育平台上，将教学视频转换为3D格式，使学习内容更具吸引力，帮助学生更好地理解复杂的概念。
• 广告与营销：该品牌将广告视频转换为三维3D，以增强广告的视觉冲击力和吸引力，增强消费者的记忆力和购买意愿。