MagicQuill – 蚂蚁集团联合多所高校共同开源的AI互动式图像编辑工具

什么是MagicQuill？

MagicQuill是香港科技大学、蚂蚁集团、浙江大学和香港大学联合推出的开源人工智能互动图像编辑工具。基于用户友好的界面和人工智能支持的智能建议，实现准确的局部图像编辑。用户可以轻松地添加元素，擦除物体或改变颜色，使图像编辑简单、智能、高效。

MagicQuill的主要功能

• 人工智能支持的智能建议：提供编辑建议，简化操作流程，基于人工智能算法预测用户意图。
• 精确的局部编辑：支持像素级别的精确编辑，包括元素插入、物体擦除和颜色调整。
• 三种魔笔刷：
  • 添加笔刷：在提示词中添加细节和元素。
  • 减去笔刷：去除多余的细节或根据提示重新绘制区域。
  • 颜色笔刷：为图像准确着色，与笔刷的颜色相匹配。
• 画布工具：提供撤销、重做、旋转、调整尺寸等工具，提高编辑灵活性。
• 参数调整：基本模型选择、负提示、边缘控制等支持用户调整生成结果的参数。

MagicQuill的技术原理

• 多模态大语言模型（MLLM）：MagicQuill用MLLM实时监控和预测用户的编辑意图，减少或消除手动输入提示的需求。
• 扩散模型（Diffusion Model）：从数据分布中学习并生成基于扩散模型的强大先验的新数据实例。
• 双分支插件模块：加强扩散模型，实现对编辑请求的精确控制，是基于精心学习的双分支插件模块。
• 实时意图预测：通过分析用户的笔触和输入提示，系统实时预测用户的编辑意图，并自动生成编辑指令。
• 编辑的精确控制：MagicQuill结合MLLM和扩散模型，能够准确处理用户的编辑请求，实现准确的图像编辑效果。

MagicQuill项目地址

• GitHub仓库：https://github.com/magic-quill/magicquill
• arxiv技术论文：https://arxiv.org/pdf/2411.09703
• 在线体验Demo：https://magicquill.art/demo/

MagicQuill的应用场景

• 个人娱乐与创作：用户在社交媒体照片中添加有趣的元素或艺术创作。
• 教育与学习：教师制作互动教材，增强学生的学习体验。
• 专业设计：设计师快速验证草图和概念，提高工作效率。
• 媒体与出版：出版业编辑和优化书籍封面或杂志插图。
• 电子商务：商家在电商平台上提升商品图片的视觉效果，吸引顾客。