PIXART-Σ - 华为推出的可生成4K高清图像的文生图模型

PixArt-Σ是什么

PixArt-Σ是由来自华为诺亚方舟实验室、大连理工大学和香港大学的研究人员推出的一个基于扩散Transformer架构（DiT）的文生图模型，专门设计用于从文本提示直接生成可达4K分辨率的高质量图像。该模型是在PixArt-α的基础上，通过整合高级元素和采用由弱到强式训练方法得到的更加强大的模型，不仅提高了生成图像的保真度，还改善了图像与文本提示之间的对齐程度。PixArt-Σ的生成图像在美学质量上与当前顶级的文本到图像产品不相上下，如DALL·E 3和Midjourney V6，并且在遵循文本提示方面表现出色。

PixArt-Σ的官网入口

官方项目主页：https://pixart-alpha.github.io/PixArt-sigma-project/
GitHub代码库：https://github.com/PixArt-alpha/PixArt-sigma（源码和模型待上线）
arXiv研究论文：https://arxiv.org/abs/2403.04692

PixArt-Σ的功能特性

4K分辨率图像生成：PixArt-Σ能够直接从文本提示生成3840×2160分辨率的高清图像，无需后续处理或其他软件的介入。
文本到图像的高保真转换：模型在生成图像时，能够精确地遵循文本描述的内容，确保图像与文本之间的高度一致性。
高效率训练：PixArt-Σ采用了“弱到强训练”的策略，通过引入高质量数据和高效的令牌压缩技术，显著提高了训练效率。
较小的模型尺寸：尽管PixArt-Σ能够生成高分辨率的图像，但其模型参数量相对较小（0.6B参数），这使得模型更加高效且易于部署。

PixArt-Σ的工作原理

PixArt-Σ的工作原理基于DiT（Diffusion Transformer）架构，这是一种结合了扩散模型和Transformer架构的深度学习方法，专门用于将文本描述转换成相应的图像。以下是PixArt-Σ工作原理的详细介绍：

1. 预训练阶段：

在预训练阶段，PixArt-Σ使用了大量的文本-图像对来学习文本和图像之间的关联。这个过程通常包括以下几个步骤：

文本编码：首先，输入的文本描述通过文本编码器（如Flan-T5）转换成一系列token的嵌入表示。在PixArt-Σ中，为了处理更复杂的描述，文本编码器的token长度被扩展到了大约300词。
条件特征提取：接着，这些文本嵌入与图像的条件特征一起被送入扩散模型。条件特征提取器通常是一个预训练的神经网络，用于从文本嵌入中提取与图像生成相关的特征。
扩散过程：扩散模型通过模拟一个从数据分布逐渐添加噪声的过程来学习数据的分布。在训练过程中，模型学习如何从带有噪声的数据中恢复出清晰的图像。
迭代细化：通过迭代过程，模型逐渐学习如何根据文本描述生成高质量的图像。这个过程涉及到调整模型参数，使得生成的图像与真实的图像越来越接近。