Reka Flash 3 - Reka AI 推出的开源推理模型

Reka Flash 3是什么

Reka Flash 3 是 Reka AI 推出的开源推理模型，拥有 21 亿参数。支持多模态输入，包括文本、图像、视频和音频，可处理最多 32k 个令牌的上下文长度，适用于一般对话、编码辅助、指令跟随等场景。模型完全精度大小为 39GB（fp16），4 位量化后可压缩至 11GB，方便在设备上部署。

Reka Flash 3的主要功能

多模态输入支持：Reka Flash 3 能处理多种类型的输入数据，包括文本、图像、视频和音频。
高效推理能力：Reka Flash 3 支持最多 32k 个令牌 的上下文长度，能处理较长的文档和复杂的任务，例如长篇论文、代码片段或复杂的多步骤问题。
多语言支持：Reka Flash 3 在多语言方面表现出色，主要集中在英语，在 WMT’23 的 COMET 得分为 83.2，满足不同语言用户的需求。

Reka Flash 3的技术原理

模块化的编码器-解码器架构：Reka Flash 3 采用模块化的编码器-解码器架构。编码器负责处理多种输入数据类型，包括文本、图像、视频和音频，转换为高维向量表示。解码器则基于编码器的输出生成文本输出。
强化学习训练：Reka Flash 3 的训练结合了公开获取的数据集和合成数据集，采用 REINFORCE Leave One-Out（RLOO）方法进行强化学习。使模型在能力与效率之间取得了平衡，能更好地理解和生成高质量的内容。
预算强制机制：通过特定的 <reasoning> 标签，用户可以限制模型的推理步骤，确保模型在有限的计算资源下保持高效和一致的表现。