Promptriever – 信息检索模型，支持自然语言提示响应用户搜索需求

Promptriever是什么？

Promptriever 约翰斯·霍普金斯大学和Samayaya 人工智能联合推出的新型检索模型可以像语言模型一样接受自然语言提示，直观地响应用户的搜索需求。Promptriever 基于 MS MARCO 数据集的指令培训集在标准检索任务中表现出色，可以更有效地遵循详细的指令，提高查询的鲁棒性和检索性能。Promptriever显示了将大型语言模型的提示技术与信息检索相结合的潜力。

Promptriever的主要功能

• 接受自然语言提示：能够理解和响应自然语言形式的提示，使用户能够以更自然的方式表达搜索需求。
• 动态调整相关性：根据用户的具体指令动态调整搜索结果的相关性，如根据用户对搜索结果的具体要求（如时间范围、特定属性）过滤和排序文档。
• 提高检索鲁棒性：在理解和处理自然语言中的细微差异的基础上，增强模型对不同查询表达的鲁棒性。
• 提高检索性能：超参数搜索是基于提示，以提高检索结果的质量。

Promptriever的技术原理

• 双编码器架构：基于双编码器（bi-encoder）使用大型语言模型的架构(如 LLaMA-2 7B)作为其背后的支持模型。
• 指令训练数据集：从 MS MARCO 数据集中筛选和发布新的指令级训练集，包括定义查询相关性的自然语言指令。
• 指令生成：使用语言模型生成更具体的指令，可以添加额外的要求或清楚地排除某些类型的文档。
• 负例挖掘指令：基于生成和过滤（query, passage）是的，在添加特定指令后，创建负例，迫使模型学习如何根据指令调整相关性判断。
• 零样本提示技术：超参数搜索是基于零样本提示技术进行的，类似于语言模型提示，以提高检索性能。

Promptriever项目地址

• GitHub仓库：https://github.com/orionw/promptriever
• arxiv技术论文：https://arxiv.org/pdf/2409.11136

Promptriever应用场景

• 搜索引擎优化：在理解用户自然语言查询和指令的基础上，提供更准确的搜索结果，提高搜索体验。
• 智能助手和聊天机器人：理解和执行用户的复杂指令，并提供更个性化的答案。
• 企业内部搜索：在企业知识库中快速准确地检索具体信息，提高工作效率。
• 学术研究和文献检索：根据研究人员的详细查询指令，检索具体的学术论文和文献资料。
• 电子商务：根据用户的购物需求和偏好，提供定制的搜索结果和产品推荐。