DreamPolish – 智谱AI、清华、北大联合推出的文本到3D生成模型
DreamPolish是Zhipu AI、清华大学和北京大学推出的文本到3D生成模型，基于两阶段方法改进复杂对象的精细几何结构和高质量纹理的生成。第一阶段用多种神经表示逐步细化几何形状，基于抛光阶段改...
排序
MVPaint – 腾讯PCG联合多所高校共同推出的3D纹理生成框架
MVPaint是腾讯PCG 、上海AI LAB、南洋理工大学S-Lab、清华大学共同推出的3D纹理生成框架，基于同步多视角扩散技术实现高分辨率、无缝且多视图一致的3D纹理生成。MVPaint包含三个核...
DynaMem – 纽约大学和Hello Robot推出的动态空间语义记忆系统
DynaMem是纽约大学和Hello Robot推出的动态空间语义记忆系统，专为开放世界中的移动操作设计。基于维护一个特征点云作为机器人记忆，处理环境中的动态变化，如物体的添加和移除。当接收到新的RG...
LTX Video – Lightricks推出的开源AI视频生成模型
LTX Video是Lightricks推出的开源AI视频生成模型，能在4秒内生成5秒的高质量视频，速度超过观看速度。基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，解决了早期视频生成模型的关...
BALROG – 基准测试工具，用于评估LLMs和VLMs在复杂动态环境中的推理能力
BALROG是评估大型语言模型（LLMs）和视觉语言模型（VLMs）在游戏上的推理能力，特别是模型在动态环境中的规划、空间推理和探索能力。基于一系列挑战性的游戏环境，包括程序生成的环境如NetHack...
AutoVFX – 自然语言驱动的视频特效编辑框架
AutoVFX是先进的物理特效框架，是伊利诺伊大学香槟分校研究团队推出的，能根据自然语言指令自动创建真实感和动态的视觉特效（VFX）视频。框架集成神经场景建模、基于大型语言模型（LLM）的代码生成和物...
Markdown-to-Image – 开源的在线 Markdown 转海报编辑器
Markdown-to-Image是开源的Markdown 转为海报的编辑器，作为React组件能将Markdown文本内容转换成图像，适用于创建社交媒体帖子、海报和其他视觉内容。工具支持多种输出格式...
EchoMimicV2 – 阿里推出的开源数字人项目，能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的半身人体AI数字人项目，基于参考图片、音频剪辑和手部姿势序列生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMimicV2在前代 EchoMimi...
TÜLU 3 – Ai2 推出的系列开源指令遵循模型
TÜLU 3是艾伦人工智能研究所（Ai2）推出的一系列开源指令遵循模型，包括8B和70B两个版本，未来计划推出405B版本。模型在性能上超越Llama 3.1 Instruct版本，提供了详细的后训练...
StoryTeller – 字节、上海交大、北大共同推出的全自动长视频描述生成一致系统
StoryTeller是字节跳动、上海交通大学和北京大学共同推出的系统，能基于音频视觉角色识别技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情信息，生成详细且连贯的视频描述。Story...