TinyVLA - 华东师范和上海大学推出面向机器人操控VLA模型

TinyVLA是什么

TinyVLA是一种面向机器人操控的视觉-语言-动作（VLA）模型，由华东师范大学和上海大学团队推出。针对现有VLA模型的不足，如推理速度慢和需要大量数据预训练，提出解决方案。TinyVLA基于轻量级的多模态模型和扩散策略解码器，显著提高推理速度，减少对大规模数据集的依赖。模型在模拟和真实机器人平台上经过广泛测试，证明在速度、数据效率以及多任务学习和泛化能力方面优于现有的先进模型OpenVLA。TinyVLA的推出，为机器人控制领域提供一种快速、高效的新方法，有望在资源受限的环境中实现快速部署和应用。

TinyVLA的主要功能

快速推理： TinyVLA能在极短的时间内处理视觉数据和语言指令，生成相应的机器人动作，显著提高了决策和执行的速度。
数据高效： 模型减少对大规模机器人数据集的依赖，无需昂贵的预训练过程，降低训练成本和资源消耗。
多任务处理： 能处理多种不同的任务，如抓取、放置、堆积等，展示良好的多任务学习能力。
强泛化能力： 在未见过的新环境、新物体和新指令下，TinyVLA仍能保持较高的执行成功率，表现出强大的泛化能力。

TinyVLA的技术原理

多模态模型初始化： TinyVLA基于预训练的多模态模型（如Pythia）作为策略网络的基础，模型已经在大量视觉-语言数据上进行训练，具备良好的语义理解能力。
策略骨干优化： 通过训练轻量级的多模态模型（VLM），TinyVLA在保持模型性能的同时减少模型参数量。
扩散策略解码器： 在微调阶段，集成扩散策略解码器直接输出机器人的动作，替代传统的基于token的预测方法，提高动作预测的连续性和准确性。
LoRA微调技术： 用低秩适应（LoRA）技术对预训练的VLM部分进行微调，只更新模型中一小部分参数，从而保持模型的原有知识并提高训练效率。
一次性多步预测： TinyVLA能一次性预测一系列未来的动作，而不是单步预测，提高动作预测的连贯性和整体效率。