TPDM – 西湖大学联合北大等高校推出的时间预测扩散模型

什么是TPDM？

TPDM（Time Prediction Diffusion Model）它是由西湖大学MAPLE实验室、南方科技大学、北京大学和西湖大学高等技术研究所联合推出的图像生成模型，可以适应调整噪声清除时间表，优化图像质量和生成效率。模型用即插即用时间预测模块（TPM），根据当前隐藏空间的特点，在每个去噪步骤中预测下一个噪声水平。TPDM基于强化学习训练，旨在最大限度地考虑去噪步数的图像质量奖励，实现与人类偏好一致的高质量图像生成。在Stable Diffusion 3 在Medium架构下，TPDM显示出通过更少的去噪步骤获得更好性能的能力，显著提高了图像生成的性能和效率。

TPDM的主要功能

自适应噪声调度：TPDM根据每个推理实例自动调整去噪步骤和噪声水平，以满足不同图像生成的需要。
平衡质量和效率：TPDM在保持图像质量的同时，降低所需的去噪步骤，提高模型的运行效率，基于动态调节去噪过程。
加强学习优化：TPDM训练基于强化学习技术的时间预测模块（TPM），最大化基于去噪步数折扣的图像质量奖励。
生成高质量的图像：TPDM可以生成与人类偏好高度一致的高质量图像，满足美学和实际应用的需要。

TPDM的技术原理

时间预测模块（TPM）：基于当前隐藏空间的特点，TPDM的核心是即插即用模块，模块预测每个去噪步骤后的下一个噪声水平。
加强学习训练：TPM基于强化学习训练，特别是Proximal Policy Optimization (PPO)该算法使用最终图像质量(考虑除噪步数)作为奖励信号，将多步除噪过程视为一个完整的轨迹。
图像质量评价：图像质量是基于符合人类偏好的奖励模型，以确保生成的图像清晰度高，符合人类的审美标准。
动态调度策略：在推理过程中，TPDM动态调整噪声调度，根据图像的复杂性和内容自动确定去噪步骤的数量，实现对不同图像生成任务的灵活响应。
优化扩散过程：TPDM的扩散过程在训练过程中与推理过程保持一致，直接优化推理性能，减少去噪步骤，使模型在实际应用中更加高效。
轻量级集成：作为一个轻量级模块，TPM可以很容易地集成到任何现有的扩散模型中，在不增加额外计算负担的情况下自动调整超参数，以实现图像质量和效率之间的最佳平衡。