CSGO AI - 小红书联合南理工推出的AI文生图项目

CSGO是什么

CSGO（Content-Style Composition in Text-to-Image Generation）是南京理工大学、小红书等机构合作推出的图像风格迁移和文本到图像生成的研究项目。CSGO的目标是为用户提供更加丰富和多样化的图像创作工具。项目提出创新的数据构建流程，用于生成和清洗风格化数据三元组，并构建名为IMAGStyle的大规模风格迁移数据集。基于数据集，CSGO框架通过端到端训练，实现图像驱动的风格迁移、文本驱动的风格化合成以及文本编辑驱动的风格化合成，显著提升图像生成中的风格控制能力。

CSGO的主要功能

• 图像驱动的风格迁移：用户将一种图像的风格应用到另一种图像上，实现视觉上的风格转换，同时保持原始内容的语义。
• 文本驱动的风格化合成：输入文本描述，生成具有特定风格的图像，展示了在理解自然语言和将文本转化为视觉风格方面的能力。
• 文本编辑驱动的风格化合成：在生成图像后，用户通过编辑文本描述进一步调整图像的风格，提供更高级别的创作控制。
• 端到端训练模型：CSGO采用端到端的训练方法，模型从输入到输出的整个过程是连续的，无需分阶段处理，提高了模型的效率和效果。
• 特征注入技术：通过独立的特征注入技术，CSGO将内容和风格特征明确解耦，分别提取并融合到生成的图像中，确保内容的准确性和风格的一致性。

CSGO的技术原理

• 数据构建流程：CSGO通过一个自动化的数据构建流程生成和清洗风格化数据三元组，三元组包括内容图像、风格图像和对应的风格化结果图像。
• 端到端训练模型：CSGO采用端到端的训练方法，模型直接从输入学习到输出，无需分阶段处理，提高了模型的效率和效果。
• 特征注入技术：
  • 内容控制：使用预训练的ControlNet和额外的可学习交叉注意力层，将内容特征注入到基础模型中，保留原始内容的语义和布局。
  • 风格控制：通过预训练的图像编码器和风格投影层，提取风格特征，将其注入到模型的上采样块和独立的风格控制模块中。
• 扩散模型：CSGO利用扩散模型逐步去除噪声来生成图像，在风格迁移的上下文中将一种风格应用到内容图像上，同时保持内容的完整性。
• 内容对齐评分（CAS）：CSGO引入内容对齐评分（Content Alignment Score），衡量生成图像与原始内容图像在内容上的一致性，评估风格迁移的质量。

CSGO的项目地址

• 项目官网：csgo-gen.github.io
• GitHub仓库：https://github.com/instantX-research/CSGO
• HuggingFace模型库：https://huggingface.co/spaces/xingpng/CSGO
• arXiv技术论文：https://arxiv.org/pdf/2408.16766

CSGO的应用场景

• 艺术创作：艺术家和设计师用CSGO来探索新的艺术风格，创作独特的数字艺术作品，或在保持内容主题不变的情况下尝试不同的视觉表现手法。
• 数字娱乐：在游戏开发和电影制作中，CSGO用来生成具有特定风格的场景和角色概念图，为数字内容创作提供多样化的视觉元素。
• 设计行业：设计师基于CSGO快速生成设计草图和原型，通过不同的风格化图像来展示产品设计，或在设计过程中快速迭代和测试不同的视觉风格。
• 广告营销：营销人员用CSGO生成吸引人的广告视觉内容，将产品图像风格化来吸引目标受众，或根据品牌形象定制独特的视觉风格。
• 社交媒体内容创作：内容创作者和影响者用CSGO为社交媒体平台（如Instagram、小红书等）创作风格化的内容，提高视觉吸引力和个性化表达。