FreeScale – 无需微调的推理框架，提升扩散模型生成能力首次实现8K分辨率图像

Freescale是什么？

Freescale是南洋理工大学、阿里巴巴集团和复旦大学推出的无微调推理框架，以提高预训练扩散模型生成高分辨率图像和视频的能力。Frescale在处理和整合不同尺度的信息的基础上，有效地解决了模型在生成超训练分辨率内容时高频信息增加引起的重复模式问题。Frescale首次生成8K分辨率图像，不仅提高了生成内容的质量和保真度，而且减少了推理时间，显著超出了现有的方法。

Freescale的主要功能

• 视觉生成的高分辨率：Freescale可以生成高达8K分辨率的高质量图像和视频，扩展视觉扩散模型在高分辨率生成方面的能力。
• 无需微调：与传统的微调方法不同，Freescale可以实现高分辨率输出，而不需要对预训练模型进行额外的调整或训练。
• 处理高频信息：Freescale基于提取和整合不同尺度的信息，有效管理高频信息，减少内容生成中的重复模式和伪影。
• 多尺度信息融合：FreeScale优化了局部和全局细节的生成，基于不同感觉野性尺度的信息，提高了视觉内容的整体质量。
• 细节级别的灵活控制：用户可以根据需要调整不同区域的细节水平，实现更精细的视觉效果控制。

Freescale的技术原理

• 自级联上采样定制：从纯高斯噪声开始，逐渐去除噪声，利用训练分辨率生成图像，基于上采样获得更高分辨率的图像。
• 受限制的膨胀卷积：Freescale在特定的网络层中使用膨胀卷积，以扩大卷积的感觉野，减少局部重复问题。
• 尺度融合：在除噪过程中，调整自注意层，使其同时具有全局和局部注意力结构。高频细节和来自局部注意力的低频语义是基于高斯模糊整合的全局注意力。
• 提取和集成频率成分：优化高分辨率生成质量，减少高频信息引起的重复模式问题。
• 细节级别控制：根据收缩余弦衰减因子控制新生成细节的水平，调整生成细节的水平，实现不同语义区域细节的差异化处理。

Freescale项目地址

• 项目官网：haonanqiu.com/projects/FreeScale
• GitHub仓库：https://github.com/ali-vilab/FreeScale
• arxiv技术论文：https://arxiv.org/pdf/2412.09626

Freescale的应用场景

• 生成高质量的图像：在艺术创作和数字娱乐领域，生成高分辨率的艺术作品、游戏纹理和3D模型地图。
• 制作视频内容：在电影和视频制作中，生成高分辨率的视频内容，提高视频质量，降低后期制作的成本和时间。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成高分辨率的虚拟环境和对象，提高用户体验。
• 广告和营销：创建吸引人的广告图像和视频，提高广告的视觉冲击力和吸引力。
• 社交媒体内容：在个人品牌建设或内容共享中，社交媒体用户生成高分辨率的图片和视频。