AniPortrait – 腾讯开源的照片对口型视频生成框架

AniPortrait是什么

AniPortrait是腾讯开源的照片对口型AI视频生成框架，类似于此前阿里推出的EMO，能够通过音频和一张参考肖像图片生成高质量的动画。AniPortrait的工作原理分为两个阶段：首先从音频中提取3D面部特征，并将其转换为2D面部标记点；然后，利用扩散模型和运动模块，将这些标记点转换成连贯且逼真的动画。该框架的优势在于其生成的动画具有高度的自然性和多样性，同时提供了编辑和再现面部动作的灵活性。

AniPortrait的官网入口

GitHub代码库：AnimateAnyone的网络架构作为灵感来源，采用Stable Diffusion 1.5作为骨干，结合时间运动模块，将多帧噪声输入转换为一系列视频帧。此外，引入了一个与SD1.5结构相同的ReferenceNet，用于从参考图像中提取外观信息，并将其整合到骨干网络中，确保视频中的面部身份保持一致。为了提高对嘴唇动作的捕捉精度，增强了PoseGuider模块的设计，采用了ControlNet的多尺度策略，并将参考图像的标记点作为额外输入，通过交叉注意力模块促进参考标记点与每一帧目标标记点之间的交互，帮助网络更好地理解面部标记点与外观之间的关系。