Seedream 2.0 - 字节豆包推出的原生中英双语图像生成模型

Seedream 2.0是什么

Seedream 2.0 是字节跳动豆包大模型团队推出的原生中英双语图像生成模型，解决现有模型在文本渲染、文化理解等方面的不足。模型通过自研的双语大语言模型（LLM）作为文本编码器，能直接从海量数据中学习本土知识，生成具有准确文化细节和审美表达的高保真图像。Seedream 2.0 应用了 Glyph-Aligned ByT5 模型进行灵活的字符级文本渲染，通过 Scaled ROPE 技术实现对未训练分辨率的泛化。

Seedream 2.0的主要功能

强大的双语理解能力：支持中英文指令的高精度理解与遵循，能生成具有文化细微差别的中文或英文美学表达图像，打破不同语言与视觉的次元壁。
优秀的文本渲染能力：大幅降低文字崩坏率，字体变化呈现更自然、更具美感，在国风图案与元素的生成上，能输出高品质结果。
多分辨率生成能力：通过三重升级的 DiT 架构，实现多分辨率生成和训练稳定性提升，能生成从未训练过的图像尺寸和各种分辨率。
基于人类反馈的强化学习（RLHF）优化：通过自研奖励模型与反馈学习算法，提升模型在图像文本对齐、美学、结构正确性、文本渲染等方面的整体性能。

Seedream 2.0的技术原理

数据预处理
- 数据组成：从高质量数据对、分布维持数据、知识注入数据和针对性补充数据四个部分精心策划预训练数据。
- 数据清洗：通过多阶段过滤方法，确保数据质量和相关性。
- 主动学习引擎：优化图像分类器，确保训练数据集的高质量。
- 图像标注：生成通用标题和专业标题，涵盖多种描述类型。
- 文本渲染数据：构建大规模视觉文本渲染数据集，用于文本渲染任务。
模型预训练
- 扩散变换器（DiT）：处理图像和文本标记，采用缩放版二维旋转位置嵌入（Scaling RoPE），支持未训练分辨率的泛化。
- 文本编码器：自研双语大语言模型（LLM），直接从海量数据中学习本土知识，支持高保真图像生成。
- 字符级文本编码器：应用 Glyph-Aligned ByT5 模型，实现灵活的字符级文本渲染。
模型后训练
- 持续训练（CT）：通过高质量数据集延长训练，提升生成图像的美感。
- 监督微调（SFT）：使用少量高质量图像微调模型，提升艺术美感。
- 人类反馈对齐（RLHF）：结合偏好数据、奖励模型和反馈学习算法，提升多方面性能。
- 提示工程（PE）：利用微调的 LLM 重写用户提示，提升生成图像质量。
- 细化器：将基础模型生成的图像放大到更高分辨率，修复结构错误。
指令式图像编辑对齐：Seedream 2.0 可以适应指令式图像编辑模型，如 SeedEdit，实现高质量的图像编辑，同时保留高美感和构图保真度。
性能表现：Seedream 2.0 在提示遵循、美感、文本渲染和结构正确性等方面表现出色，经过多轮 RLHF 优化，其输出与人类偏好高度一致，ELO 得分优异。

Seedream 2.0的项目地址

项目官网：https://team.doubao.com/zh/tech/seedream
arXIv技术论文：https://arxiv.org/pdf/2503.07703

如何使用Seedream 2.0

访问平台使用：访问豆包的官方网站使用或访问即梦的官方网站使用。
注册/登录：使用账号登录豆包平台。
输入提示词：在图像生成界面输入详细的中英文提示词，描述你想要生成的图像内容。
选择生成模式：选择适合的生成模式（如普通生成、高清生成等）。
调整参数：根据需要调整生成参数（如分辨率、风格等）。
生成图像：点击生成按钮，等待模型生成图像。
下载或使用图像：生成的图像可以直接下载或用于进一步的编辑。
使用 API 接口
- 获取 API Key：如果你是开发者，可以通过豆包或即梦平台的开发者文档获取 API Key。
- 发送请求：使用 HTTP 请求将提示词和生成参数发送到 Seedream 2.0 的 API 接口。
- 接收响应：API 将返回生成的图像链接，你可以下载或直接使用这些图像。