Large Motion Model – 商汤科技联合南洋理工推出的统一多模态运动生成模型

Large Motion 什么是Model？

Large Motion Model（LMM）它是新加坡南洋理工大学S-Lab和尚堂科技研究团队共同推出的统一多模态运动生成模型。LMM可以处理各种运动生成任务，如文本到运动、音乐到舞蹈，在多个基准测试中表现出与专家模型相当的性能。该模型基于整合不同模式、格式和任务的数据集，创建了全面的Motionverse数据集，采用创新的Artation机制和预训练策略，实现对身体部位的精确控制和广泛的知识泛化。LMM在处理未见任务时表现出强大的泛化能力，为未来大型运动模型的研究提供了新的视角。

Large Motion Model的主要功能

• 生成多任务运动：能够执行文本到运动、音乐到舞蹈、动作到运动等各种运动生成任务。
• 数据集整合：在整合不同模式、格式和任务的基础上，创建Motionverse数据集，实现统一的运动表示。
• 精确控制：采用Artattention机制，支持对不同身体部位的精确控制，提高运动生成的精细度。
• 泛化能力：在各种未见任务中，展现出强大的泛化能力和有效的运动生成。
• 多模态输入处理：同时，处理文本、音乐、视频等多种模式输入，生成相应的运动输出。

Large Motion Model的技术原理

• 统一数据集（MotionVerse）：基于统一的数据集MotionVerse，数据集包含多种任务和模式的运动数据，基于TOMATO表示法统一不同格式的运动数据。
• Diffusion Transformer骨网络：Diffusion模型基于Transformer架构，用于噪声扩散概率模型（DDPM）生成高质量的运动序列。
• Artattention机制：Artatatttention设计了一种新颖的注意力机制，结合身体部位的感知建模，支持模型独立控制和学习不同的身体部位。
• 预训练策略：采用随机帧率和各种掩码技术的预训练策略，提高模型学习和泛化不同数据源的能力。
• 零样本学习：在没有额外样本的情况下，采用零样本的方法生成长序列运动。

Large Motion Model项目地址

• 项目官网：https://mingyuan-zhang.github.io/projects/LMM
• GitHub仓库：https://github.com/mingyuan-zhang/LMM
• arxiv技术论文：https://arxiv.org/pdf/2404.01284
• 在线体验Demo：https://huggingface.co/spaces/mingyuan/LMM

Large Motion Model的应用场景

• 动画和游戏制作：生成逼真的角色动画，减少手动动画制作的时间和成本，提高动画制作效率。
• 虚拟现实（VR）和增强现实（AR）：在VR和AR应用程序中，生成与用户动作相匹配的虚拟角色动作，增强沉浸感。
• 制作电影和视频：在电影中产生特殊效果，如模拟复杂的战斗场景或舞蹈动作，提高制作效率。
• 运动分析与训练：分析运动员的动作，提供训练建议，或生成标准的动作模板。
• 机器人技术：教机器人执行复杂的人类动作，提高机器人在服务、医疗或工业领域的应用能力。