TextHarmony - 字节联合华东师范推出的多模态生成模型

TextHarmony是什么

TextHarmony是华东师范大学和字节跳动共同推出的多模态生成模型，擅长理解和生成视觉文本。模型基于Slide-LoRA技术，动态聚合特定于模态和模态无关的LoRA专家，部分解耦多模态生成空间，在单一模型实例中协调视觉和语言的生成。TextHarmony在视觉和语言模态之间实现更统一的生成过程。研究团队推出高质量的图像字幕数据集DetAIledTextCaps-100K，基于高级闭源MLLM合成，进一步提升模型的视觉文本生成能力。

TextHarmony的主要功能

视觉文本理解：TextHarmony能理解图像中的文本信息，执行如场景文本检测、识别、文档理解、视觉问题回答（VQA）和关键信息提取（KIE）等任务。
视觉文本生成：模型根据文本描述生成图像，在生成的图像中渲染准确且连贯的文本。
视觉文本编辑：TextHarmony替换或在图像的特定位置渲染文本，且保持背景的一致性。
视觉文本感知：模型具备基本的光学字符识别（OCR）能力，能检测和识别图像中的文字。

TextHarmony的技术原理

Slide-LoRA：动态聚合模态特定和模态无关的LoRA（Low-Rank Adaptation）专家的方法，部分解耦多模态生成空间，让模型在单一实例中生成视觉和语言模态时更加协调。
多模态预训练：TextHarmony在包含丰富文本的图像-文本语料库上进行预训练，学习生成多模态输出。
综合微调：在预训练的基础上，TextHarmony在文本为中心的任务上进行微调，提升模型在多模态生成和遵循人类指令方面的能力。
高质量数据集：创建DetailedTextCaps-100K数据集，提供详细的图像字幕对，字幕对在图像生成任务中关注视觉和文本元素，显著提高图像生成的质量。
模型架构：TextHarmony的架构包括视觉编码器、LLM（大型语言模型）和图像解码器，组件协同工作生成视觉和文本内容。最大化条件概率，实现文本和图像的交织令牌序列的生成。