VQAScore - CMU联合Meta推出的文本到视觉图像生成评估方法

VQAScore是什么

VQAScore是CMU和Meta联合推出的评估方法，基于视觉问答（VQA）模型衡量由文本提示生成的图像质量。VQAScore用计算模型对“Does this figure show {text}?”这一问题回答“是”的概率，评估图像与文本提示的对齐程度。VQAScore的核心优势在于无需额外人类标注，直接用现有的VQA模型，用概率值的形式提供更精确的评估结果，超越传统评估指标如CLIPScore。VQAScore已被应用于多个项目中如Imagen3，用于自动评估和优化最新的生成式模型。

VQAScore的主要功能

• 评估图像与文本提示的对齐程度：VQAScore基于计算一个“是”答案的概率衡量生成的图像是否符合给定的文本提示。
• 自动化评估：提供自动化的方法评估图像生成模型，无需人工评分，有助于大规模和快速评估。
• 提高评估的准确性：解决现有评估方法在处理复杂文本提示时的不足，提供更准确的评估结果。
• 支持多种生成任务：VQAScore能评估视频和3D模型的文本到视觉生成任务。
• 基准测试与模型改进：基于GenAI-Bench基准测试集，VQAScore帮助研究人员识别模型的局限性，指导模型的改进。

VQAScore的技术原理

• 问题模板化：将文本提示转换成一个简单的是非问题，例如：“Does this figure show {text}?请回答是或否。”
• 图像和文本的联合编码：用VQA模型将图像和问题（已转换成token序列）作为输入，进行联合编码。
• 预测答案的概率：VQA模型的解码器输出预测答案（“是”或“否”）的概率分布。
• 计算对齐得分：VQAScore定义为模型预测“是”答案的概率，概率反映图像与文本提示的对齐程度。
• 双向编码器-解码器架构：VQAScore用的CLIP-FlanT5模型基于双向编码器-解码器架构，支持图像嵌入依赖于问题内容，反之亦然，有助于更好地理解和处理复杂的文本提示。
• 无需额外数据微调：VQAScore在训练时用图像和问题的答案对，评估时无需针对特定数据集进行额外的微调。

VQAScore的项目地址

• 项目官网：linzhiqiu.github.io/papers/vqascore
• GitHub仓库：https://github.com/linzhiqiu/t2v_metrics
• arXiv技术论文：https://arxiv.org/pdf/2404.01291
• 在线体验Demo：https://huggingface.co/spaces/zhiqiulin/VQAScore

VQAScore的应用场景

• 图像生成模型评估：评估如DALL-E、Imagen、Stable Diffusion等模型根据文本提示生成图像的准确性和质量。
• 视频生成模型评估：评估文本到视频生成模型的性能，如根据剧本或描述生成视频内容的能力。
• 3D模型生成评估：评估文本到3D模型生成任务，例如根据描述生成3D物体或场景。
• 多模态学习研究：在多模态学习领域，VQAScore可以作为研究工具，帮助研究人员理解模型如何处理和生成跨模态内容。
• 自动化测试和质量控制：在图像、视频和3D内容的自动化测试流程中，VQAScore作为质量控制的指标。