OmniEdit – 滑铁卢大学等机构开源的通用图像编辑模型

Omniedit是什么？

Omniedit是一种先进的图像编辑技术，通过结合多个专家模型的监督来培训一个通用模型，并处理各种图像编辑任务。它可以处理不同的垂直和水平比图像，七个不同的图像编辑任务，包括对象替换、删除、添加等，以支持任何宽度和高度比和分辨率。基于七个专家模型的监督和培训确保了任务覆盖，用于大型多模型评分来提高培训数据的质量，并使用新的Editnet架构来提高编辑的成功率。Omniedit在自动评估和人工评估方面明显优于现有模型（包括Instructpix2pix）、MagicBrush、Ultraedi等。)，能够准确遵循指令，同时保持原始图像的保真度。

OmniEdit的主要功能

• 多任务编辑能力：Omniedit可以执行七种不同的图像编辑任务，包括对象替换、对象删除、对象添加、属性修改、背景替换、环境变化和风格转换。
• 监督专家模型：OmniEdit 培训基于七种不同专家模式的监督，确保任务覆盖。
• 支持任何宽高比和分辨率：适用于各种实际场景，模型可以处理不同宽高比和分辨率的图像。
• 编辑指令驱动：用户根据文本指令指导Omniedit编辑特定的图像，以提高编辑的灵活性和用户控制能力。
• 输出高质量的图像：Omniedit在编辑过程中可以保持原始图像的高保真度，降低噪音和伪影。
• 数据质量控制：合成样本采用大型多模式模型进行评分，以提高训练数据的质量。

OmniEdit的技术原理

• 监督和学习一般模型的专家：多个专家模型的监督信号训练一个通用的编辑模型，每个专家模型都专注于特定的编辑任务。
• 重要性采样：大型多模态模型(如GPT-4o)对合成样本进行质量评分，对其重要性进行采样，提高训练数据集的质量。
• EditNet架构：基于扩散变换器的架构，支持控制分支和原始分支之间的交互，并使用中间表示的交互来增强模型对编辑任务的理解。
• 支持任何宽高比：在训练过程中，包含不同宽高比的图像，以确保模型能够适应任何图像的宽高比。

Omniedit项目地址

• GitHub仓库：https://github.com/TIGER-AI-Lab/OmniEdit
• HugingFace模型库：https://huggingface.co/collections/TIGER-Lab/omniedit-6732d8e381c3e560a
• arxiv技术论文：https://arxiv.org/pdf/2411.07199

Omniedit的应用场景

• 专业图像编辑：设计师和艺术家进行广告设计、艺术创作、照片修复等高效的图像编辑工作。
• 创建社交媒体内容：快速编辑和美化社交媒体用户的图片，增加内容的吸引力。
• 电子商务：在线商家编辑产品图片，如改变背景，调整风格，提高产品的市场吸引力。
• 新闻和媒体：为了适应不同的出版需求和风格，新闻机构迅速调整新闻图片。
• 教育和培训：帮助学生学习图像编辑和视觉设计，作为教育领域的教学工具。