MikuDance – 混合动力动画生成技术，将静态图像生成动态风格化的角色艺术

什么是MikuDance？

MikuDance是一种基于扩散模型的动画生成技术，将混合运动力学与动画风格相结合的角色艺术。基于混合运动建模和混合控制扩散技术，MikuDance可以解决高动态运动和参考指导错位的问题，显示动态相机和角色运动，隐藏对齐角色形状、姿势和比例，实现连贯的运动控制。MikuDance在各种角色艺术和运动的指导下展示了有效性和泛化能力，生成了具有显著运动动态的高质量动画。

MikuDance的主要功能

• 动画风格化角色艺术：MikuDance可以将静态角色图像转化为动态动画，适合风格化的角色艺术，如动画风格。
• 对高动态运动进行处理：在复杂的前景和背景下，可以处理高动态运动，包括角色的大动作和相机的快速移动。
• 参考指导对齐：处理角色形状、姿势、比例与运动引导之间的错位问题，基于隐式对齐技术。
• 控制全局和局部运动：结合场景运动跟踪和运动自适应归一化模块，控制全局场景运动和局部角色运动。
• 多风格适应性：MikuDance适应各种艺术风格，包括赛璐璐、古典风格和线条素描，表现出很强的泛化能力。

MikuDance的技术原理

• 混合运动建模：MikuDance显式建模动态相机和角色运动将3D相机的姿态转换为像素级场景运动，实现角色和场景的统一运动建模。
• 扩散的混合控制：将参考人物艺术、参考姿势和所有人物姿势引导整合到统一的潜在空间中，实现对动画的对齐运动控制。
• 运动自适应归一化模块化：有效地将全局场景运动注入角色动画，支持人物造型动画的全面生成。
• 混合训练方法：采用两阶段训练方法，第一阶段训练视频帧，第二阶段添加MAN模块和时间模块，训练混合MMD视频编辑和无角色相机运动视频，提高模型的棒性和泛化能力。
• Stable Diffusion的预备知识：基于Stable的MikuDance Diffusion（SD）该模型包括VAE自动编码图像和UNET噪声估计，将噪声图像逐渐转化为基于反向扩散过程的潜在图像。

MikuDance项目地址

• 项目官网：kebii.github.io/MikuDance
• GitHub仓库：https://github.com/Kebii/MikuDance(即将开源)
• arxiv技术论文：https://arxiv.org/pdf/2411.08656

MikuDance的应用场景

• 游戏开发：角色动画在游戏制作中快速生成，降低了传统动画制作的成本和时间。
• 电影和电视制作：在电影和电视剧的后期制作中，创造了复杂的动态场景和特效，增强了视觉冲击力。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成与用户互动的动态角色，增强沉浸感。
• 动画制作：为传统的2D或3D动画提供了一种新的动画生成方式，特别是对于风格化的角色动画。
• 创建社交媒体内容：内容创作者在社交媒体平台上生成有吸引力的动态图像和视频。