AniDoc – 2D动画上色AI模型，基于视频扩散模型自动将草图序列转换成彩色动画

什么是AniDoc？

AniDoc是香港科技大学、蚂蚁集团、南京大学、浙江大学和香港大学联合推出的简化2D动画着色人工智能模型。基于视频扩散模型，草图序列自动转换为彩色动画，遵循参考角色设计。该模型采用相应的匹配技术来处理角色设计和草图之间的差异，以实现颜色和风格的准确传输。AniDoc支持二级草图输入，提高基于背景的模型鲁棒性，减少人工绘制中间帧的需求。AniDoc可以提高色彩精度和帧间的一致性，降低动画制作的劳动力成本，加快内容创作过程，适用于动画和各种数字艺术领域。

AniDoc的主要功能

• 自动上色：将草图序列自动转换为彩色动画，减少手动着色的工作量。
• 对应匹配：基于相应的匹配技术，参考角色设计与草图的不一致性，如角度、比例和姿势的差异。
• 背景增强：通过背景增强策略，提高模型区分前景和背景的能力，提高着色质量。
• 稀疏草图训练：输入稀疏草图，减少中间帧的绘制，关键帧插值生成平滑动画。
• 多风格适应：适应不同风格的参考图像，为同一人物的不同草图提供一致的着色效果。

AniDoc的技术原理

• 视频扩散模型：基于视频扩散模型，捕捉时间动态和视觉连贯性的能力。
• 对应引导着色：将参考人物设计中的色彩和风格信息整合到草图中，利用显式对应机制，提高色彩的准确性和一致性。
• 二值化和背景增强：二值化处理条件草图，用背景增强策略提高模型的鲁棒性。
• 稀疏草图训练：采用两阶段的训练策略，先学习着色能力，再去除中间草图学习插值能力，减少对密集草图的依赖。
• 3D U-Net架构：它包括为视频生成设计的去噪3D U-Net，将参考图像信息整合到上色过程中。

AniDoc项目地址

• 项目官网：yihao-meng.github.io/AniDoc
• GitHub仓库：https://github.com/yihao-meng/AniDoc
• arxiv技术论文：https://arxiv.org/pdf/2412.14173

AniDoc的应用场景

• 动画制作：在传统的2D动画制作过程中，角色线稿的着色工作自动完成，减少了动画师手动着色的时间和劳动强度。
• 动漫产业：对于动画制作公司来说，提高动画制作效率，降低成本，在不同场景中保持角色色彩的一致性。
• 游戏开发：游戏角色动画在游戏开发中快速生成，特别是在需要大量角色动画资源的情况下。
• 数字艺术创作：实验和探索不同颜色方案的艺术家和设计师，快速预览草图上色效果，加快创作过程。
• 教育和培训：作为动画教育和培训的教学工具，帮助学生了解动画着色过程，实践动画制作技术。