FoleyCrafter - 上海人工智能实验室推出的AI视频配音框架

FoleyCrafter是什么

FoleyCrafter是上海人工智能实验室和香港中文大学（深圳）共同推出的AI视频配音框架，FoleyCrafter能自动听出视频中的动作，配上恰到好处的声音效果。不管是视频里的人走路、跑步，还是动物的叫声，甚至是环境里的风声、水声，FoleyCrafter都能智能地加上去，让原来没有声音的视频瞬间变得生动起来。而且还可以给它一些提示，比如“声音要高一点”或者“不要风声”，FoleyCrafter都能听懂并做到。这个技术不仅让视频制作更简单，还能让视频看起来更真实、更有感觉。

FoleyCrafter的主要功能

自动配音：FoleyCrafter能给无声的视频加上各种声音，比如脚步声、关门声，让视频听起来更真实。
声音同步：不管视频里的动作多快或多慢，FoleyCrafter都能让声音和动作完美对上节奏。
理解视频：FoleyCrafter很聪明，能看懂视频里的内容，然后配上最合适的声音效果。
时间精准：FoleyCrafter有一个特别的时间控制器，确保声音的开始和结束都和视频里的动作完全同步。
听你指挥：用户可以通过写一些简单的文字提示，比如“大声点”或者“轻一点”，FoleyCrafter能自动调整声音效果。
多样的声音：无论是自然的声音、游戏的声音还是动画的声音，FoleyCrafter都能根据视频内容创造出相应的音效。

FoleyCrafter的技术原理

预训练的音频模型：FoleyCrafter基于一个已经学会怎么生成好声音的模型。就像一个已经知道怎么唱歌的人，我们只需要告诉它什么时候唱什么歌。
语义适配器：这个部分是FoleyCrafter的大脑，它通过观看视频来理解里面正在发生什么。比如，如果视频里有人跑步，语义适配器就会知道需要生成脚步声。
并行交叉注意力层：这是一种特殊的技术，让FoleyCrafter能够同时关注视频里的视觉信息和可能的文本描述，然后决定生成什么样的声音。
时间控制器：这个部分确保声音效果在正确的时间点出现。就像一个指挥家，告诉乐队什么时候开始演奏，时间控制器告诉FoleyCrafter什么时候开始发出声音。
起始检测器：这是时间控制器里的一个工具，它能够检测视频中的声音应该何时开始。比如，如果视频中的球刚刚碰到地面，起始检测器就会知道这是发出撞击声的正确时机。
时间戳适配器：这个工具使用起始检测器的信息来调整声音的生成，确保声音与视频中的动作完美同步。
文本提示兼容性：FoleyCrafter还可以根据你给出的文字提示来生成声音。比如，你写“轻柔的风声”，它就会生成相应的声音效果。