START - 阿里联合中科大推出的自学推理模型

START是什么

START（Self-Taught Reasoner with Tools）是阿里巴巴集团和中国科学技术大学推出的新型工具增强型推理模型，结合外部工具（如Python代码执行器）提升大型语言模型（LLMs）的推理能力。START基于“Hint-infer”技术在推理过程中插入提示，激发模型使用外部工具，基于“Hint-RFT”框架进行自学习和微调。START在长链推理（Long CoT）的基础上，引入工具调用，显著提高在复杂数学问题、科学问答和编程挑战中的准确性和效率。START在多个基准测试中表现出色，超越现有模型，成为首个开源的长链推理与工具集成相结合的模型。

START的主要功能

• 复杂计算与验证：调用Python代码执行器，进行复杂的数学计算、逻辑验证和模拟。
• 自我调试与优化：START用工具执行代码并验证输出，自动检测错误并进行调试，提高答案的准确性。
• 多策略探索：基于提示（Hints）引导模型尝试多种推理路径和方法，增强模型在面对复杂问题时的灵活性和适应性。
• 提升推理效率：基于工具调用和自我验证，减少模型在复杂任务中的幻觉（hallucination）现象，提高推理效率和可靠性。

START的技术原理

• 长链推理：继承长链推理的优势，分解问题为多个中间推理步骤，模拟人类的深度思考过程，提高模型在复杂任务中的推理能力。
• 工具集成：START基于调用外部工具（如Python代码执行器）弥补传统长链推理的不足。模型在推理过程中生成代码，用工具执行验证结果。
• Hint-infer：在推理过程中插入人工设计的提示（Hints），激发模型调用外部工具的能力。引导模型在特定节点调用工具，无需额外的演示数据。
• Hint-RFT：结合Hint-infer和拒绝采样微调（RFT），对模型生成的推理轨迹进行评分、过滤和修改，进一步优化模型的工具使用能力。
• 自学习框架：基于主动学习方法，从模型生成的推理轨迹中筛选出有价值的数据，用于微调，让模型自我学习如何更有效地使用工具。
• 测试时扩展：在推理结束时插入提示，增加模型的思考时间和工具调用次数，提高推理的准确性和成功率。

START的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2503.04625

START的应用场景

• 数学问题求解：解决复杂的数学题目，如数学竞赛和高等数学问题，用代码验证提高准确性。
• 科学研究辅助：帮助处理物理、化学和生物等领域的复杂计算和科学问题。
• 编程与调试：生成代码并自动调试，解决编程难题，提升开发效率。
• 跨学科问题解决：综合运用多学科知识，解决工程设计、数据分析等复杂任务。
• 教育与学习：作为智能辅导工具，辅助学生学习数学和科学，提供详细的解题过程和反馈。