FoxBrain - 鸿海研究院推出的推理大语言模型

FoxBrAIn是什么

FoxBrain 是鸿海研究院推出的繁体中文大型语言模型（LLM），具有强大的推理能力。基于 Meta Llama 3.1 架构，拥有 70B 参数，专注于数学和逻辑推理领域。FoxBrain 基于高效训练策略，用四周时间完成训练，使用 120 张 NVIDIA H100 GPU，展现了高效率和低成本的特点。FoxBrain基于自主技术生成高质量中文预训练数据，用 Adaptive Reasoning Reflection 技术提升推理能力。FoxBrain 推动 AI 在制造业、供应链管理和智慧决策等领域的应用，为台湾 AI 技术发展树立了新的标杆。

FoxBrain的主要功能

数据分析与决策辅助：处理复杂的数据信息，为用户提供决策支持。
文书协作：帮助用户生成、编辑和优化文本内容，提高工作效率。
数学与推理解题：在数学和逻辑推理方面表现出色，解决复杂的数学问题和逻辑难题。
代码生成：辅助用户生成编程代码，提升开发效率。
语言风格优化：针对台湾繁体中文的语言风格进行优化，更贴合本地用户需求。

FoxBrain的技术原理

基础架构：基于Meta Llama 3.1架构，拥有70B参数，具备强大的语言生成和理解能力。
高效训练策略：用120张NVIDIA H100 GPU进行训练，基于多节点并行训练架构，确保高效能与稳定性。基于自主技术生成98B tokens的高质量中文预训练数据，涵盖24类主题。用Adaptive Reasoning Reflection技术，训练模型自主推理能力，提升在数学和逻辑推理领域的表现。
上下文处理能力：支持128K token的上下文处理长度，处理更长的文本输入和输出。
优化与评估：基于Continual Pre-Training、Supervised Fine-tuning、RLAIF等技术，不断优化模型性能，在TMMLU+测试数据集中表现出色。