Inverse Painting - 华盛顿大学推出逆向重现绘画过程的AI技术

Inverse PAInting是什么

Inverse Painting 是一种AI技术，由华盛顿大学的研究人员推出，能逆向重现绘画过程。通过分析艺术家的绘画视频，学习绘画技巧和顺序，然后生成一系列绘画指令，逐步更新画布，模拟艺术家的创作过程。过程包括学习绘画过程、定义绘画指令、用扩散模型生成图像、文本和区域理解，及逐步渲染。Inverse Painting 能复刻名画，有助于人们学习绘画技巧。Inverse Painting 为人们提供一种新的方式理解和学习绘画艺术。

Inverse Painting的主要功能

• 绘画过程重建：给定一幅完成的绘画作品，逆向生成该作品可能的绘制过程的时间延迟视频。
• 自回归图像生成：从空白画布开始，逐步更新画布，直至完成目标画作。
• 学习真实艺术家：分析真实艺术家的绘画视频，学习绘画技巧和风格。
• 生成绘画指令：创建文本指令和区域掩码，指导绘画的顺序和焦点区域。
• 模拟绘画风格：模拟人类艺术家的绘画风格和过程，包括从背景到前景的绘画顺序和分层技术。

Inverse Painting的技术原理

• 基于扩散的逆绘画方法：用扩散模型从噪声图像中逐步去除噪音，生成连续的图像帧。
• 文本和区域理解：结合文本指令和区域掩码，定义绘画的“指令”，并更新画布。
• 两阶段训练+测试：
  • 第一阶段：指令生成：生成文本指令和区域掩码，提供绘画顺序的高级指导。
  • 第二阶段：画布渲染：基于扩散的渲染器，根据文本指令和区域掩码更新画布。
• 时间控制：模拟真实艺术家的绘画速度，考虑每步之间的时间间隔。

Inverse Painting的项目地址

• 项目官网：inversepainting.github.io
• GitHub仓库：https://github.com/ArmastusChen/inverse_painting（即将开源）
• arXiv技术论文：https://arxiv.org/pdf/2409.20556

Inverse Painting的应用场景

• 艺术教育：作为教学工具，帮助学生理解名画的创作过程，学习绘画技巧和艺术史。
• 艺术创作辅助：艺术家探索不同的绘画技巧，或者作为创作过程中的灵感来源。
• 文化遗产保护：分析和重现古代艺术品的绘画过程，帮助保护和传承文化遗产。
• 艺术品鉴定：分析艺术品的绘画过程，为艺术品的真伪鉴定提供参考。
• 娱乐和游戏：在视频游戏或电影制作中，生成动态的艺术效果或者作为剧情元素。
• 交互式媒体：在交互式应用程序中，允许用户用AI创作个性化的艺术作品。