“O”:视频输出。2023年,我们看到了文字到视频合成的浪潮:WALT(谷歌)、EmuVideo(Meta)、Align Your Latents(英伟达)、Pika等等,数不胜数。然而,大多数生成的片段仍然很短。我将它们视为AI视频的“系统1”——“无意识”的局部像素运动。
更重要的是,它的作用只是预警,并不是预测。
为了解决这一问题,著名人工智能教授李飞飞团队推出了Wild2Avatar,这是一种专为视频中被遮挡人物设计的神经渲染方法。
VCoder作为一个视觉编码器,为MLLM提供了更好的视觉感知能力,能够处理特殊类型的图像,并改善了对象感知任务的表现。在与其他模型的比较中,VCoder在对象计数和识别方面表现出色,特别是在复杂场景中。
另外,DreamTalk还具有说话风格预测的功能,能够根据语音预测说话者的风格,并同步表情,使得动画更加贴近原始音频。此外,该框架适用于多种场景,可以用于歌曲、不同类型的肖像,甚至在嘈杂环境中也能表现良好。