FACTS Grounding - 谷歌推出的评估大模型能力的基准测试

FACTS Grounding是什么？

FACTS Grounding是由谷歌DeepMind推出的评估大型语言模型。（LLMs）能力的基准测试，衡量模型根据给定的上下文生成事实准确、无捏造信息的文本的能力。FACTS Grounding测试集包含1719个跨多个领域的示例，要求模型响应必须基于3.2万个token的文档，包括摘要、问答和重写。评估使用Gemini、GPT-4o和Claude分为资格评估和事实准确性评估两个阶段，以提高模型的信任度和应用范围。

FACTS Grounding的主要功能

• 评估语言模型的事实准确性：评估大型语言模型（LLMs）在给定上下文的情况下，生成事实准确文本的能力。
• 避免“幻觉”(捏造信息)：测试模型是否能避免生成与给定文档不一致的虚假信息，即“幻觉”。
• 评估长形式响应：基于此生成长形式的响应，要求模型能够处理长达32k令牌的文档。
• 多领域覆盖：数据集涵盖金融、科技、零售、医疗和法律等领域，评估模型在不同领域的应用能力。

FACTS Grounding的技术原理

• 长形式输入处理：对长达32k令牌的文档进行评估的能力，要求模型能够理解和合成长文本信息。
• 上下文的相关性：模型生成与给定用户提示和上下文档密切相关的文本，以确保响应完全基于提供的文档内容。
• 自动评审系统：使用自动化评审模型(如Geminini) 1.5 Pro、GPT-四o和Claude 3.5 Sonnet）评估生成的文本是否符合用户要求，是否完全基于提供的文档。
• 评估过程的两个阶段：
  • 资格评估：判断模型的响应是否符合用户要求。
  • 评估事实的准确性：评估响应是否完全基于提供的文档，即评估是否存在“幻觉”(捏造信息)。
• 聚合评分机制：第一次模拟考试的结果是减少单一模型的偏见，提高评估的准确性和可靠性。

FACTS Grounding项目地址

• 项目官网：https://deepmind.google/discover/blog/facts-grounding
• 技术论文：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Grounding的应用场景

• 信息检索与问答系统：在问答系统中，根据给定的文档或上下文提供准确的答案。
• 内容摘要与生成：模型生成文档摘要，理解长文档，准确提炼关键信息。
• 重写和重述文档：在需要根据原始文档重复或重写内容的场景中，确保重写后的内容保持事实的准确性。
• 客户服务自动化：在客户服务领域，提供基于特定信息或政策文件的准确答案，提高服务效率和质量。
• 教育与研究：在教育领域，帮助学生和研究人员快速准确地获取信息，协助学习和研究。