AI项目框架

LeviTor是南京大学、蚂蚁集团、浙江大学等机构推出的图像到视频合成技术，结合深度信息和K-means聚类点控制视频中3D物体的轨迹，无需显式的3D轨迹跟踪。LeviTor用高质量的视频对象分割数据...

CLEAR是新加坡国立大学推出新型线性注意力机制，能提升预训练扩散变换器（DiTs）生成高分辨率图像的效率。基于将每个查询的注意力限制在局部窗口内，CLEAR实现了对图像分辨率的线性复杂度，降低了计算...

DRT-o1是腾讯研究院推出的一系列AI模型，通过长链思考推理（CoT）技术显著提升了文学作品的翻译质量，尤其在处理比喻和隐喻等修辞手法时。模型能更深入地理解文本，保留原文的情感色彩和文化内涵。

ModernBERT是Answer.AI、LightOn、约翰斯·霍普金斯大学、英伟达和HuggingFace联合推出的现代编码器-only Transformer模型，是对经典BERT模型的一次重大...

Mathtutor on Groq 是基于 Groq 架构的AI数学辅导工具，基于语音识别功能，支持用户用语音形式提出数学问题。工具内置强大的数学引擎，能实时计算并用 LaTeX 格式渲染出详细的解题...

DynamicControl是腾讯优图联合南洋理工、浙大等研究机构推出的集成多模态大语言模型（MLLM）推理能力的文本生成图像（T2I）任务新框架。DynamicControl通过自适应地选择不同条件...

Diffree是由OpenGVLab推出的AI贴图框架，能根据用户的文字描述，在图片中自动找到合适的位置添加新对象。通过智能掩码预测，无需手动绘制，即可确定新对象的形状和位置。

Stable Fast 3D（SF3D）是Stability AI推出的一种创新3D网格重建技术，能在0.5秒内从单张图片生成高质量的3D模型。Stable Fast 3D采用先进的Transform...

Tora是阿里推出的AI视频生成框架，基于轨迹导向的扩散变换器（DiT）技术，将文本、视觉和轨迹条件融合，生成高质量且符合物理世界动态的视频内容。Tora由轨迹提取器、时空DiT和运动引导融合器组成...

FoleyCrafter是上海人工智能实验室和香港中文大学（深圳）共同推出的AI视频配音框架，FoleyCrafter能自动听出视频中的动作，配上恰到好处的声音效果。不管是视频里的人走路、跑步，还是动...