LivePortrait

官网介绍

LivePortrait是一款高效的肖像动画生成框架，全称为"Efficient Portrait Animation with Stitching and Retargeting Control"。该框架由快手科技(Kuaishou Technology)主导开发，合作单位包括中国科学技术大学和复旦大学。核心研发团队成员包括Jianzhu Guo、Dingyun Zhang、Xiaoqiang Liu、Zhizhou Zhong、Yuan Zhang、Pengfei Wan和Di Zhang。

LivePortrait旨在从单张源图像合成逼真视频，将其作为外观参考，同时从驱动视频、音频、文本或生成中获取运动(即面部表情和头部姿态)。与主流的基于扩散的方法不同，该框架探索并扩展了基于隐式关键点框架的潜力，有效平衡了计算效率和可控性。项目代码和模型已开源，可在GitHub(https://github.com/KwaiVGI/LivePortrait)获取。

核心功能特点

高效肖像动画生成

从单张源图像合成逼真视频，以源图像作为外观参考，同时从驱动视频、音频、文本或生成中获取运动信息，包括面部表情和头部姿态。生成速度在RTX 4090 GPU上使用PyTorch可达到12.8ms/帧，具有极高的计算效率。

拼接与重定向控制

创新性地提出拼接和两个重定向模块，利用小型MLP实现，计算开销可忽略不计。拼接模块能够显著提升生成质量，而重定向模块则增强了对特定面部特征的精确控制能力。

自重演与交叉重演功能

支持自重演(Self-reenactment)和交叉重演(Cross-reenactment)两种模式，能够实现不同主体间的表情和姿态迁移，极大扩展了动画创作的可能性。

精确的面部特征控制

提供眼睛和嘴唇重定向控制功能，可根据给定的标量精确控制眼睛睁开程度和嘴唇张开程度，实现对关键面部特征的精细调节，提升动画的表现力和真实感。

跨风格泛化能力

具备强大的跨风格泛化能力，能够处理各种风格的肖像，包括写实风格、油画风格、雕塑风格和3D渲染风格等，且支持不同尺寸的肖像图像。

动物肖像动画支持

通过在动物数据上进行微调，该框架能够将人类的表情和动作精确驱动可爱的猫、狗、熊猫等动物肖像，实现动物唱歌、跳舞等有趣的动画效果。

肖像视频编辑功能

提供肖像视频编辑能力，支持从单张图像生成源视频，实现对已有视频内容的风格转换和表情调整，为视频创作提供更多可能性。

应用场景

• 数字内容创作：帮助创作者快速生成高质量肖像动画，降低视频制作门槛，提升创作效率
• 社交媒体内容：制作生动有趣的个性化肖像动画，增强社交媒体内容的吸引力和互动性
• 虚拟主播/偶像：创建具有高度可控性的虚拟角色，实现实时表情和动作驱动，用于直播和互动
• 影视后期制作：辅助电影和电视剧的后期制作，实现面部表情的精细调整和风格转换
• 广告营销：制作创意广告内容，通过生动的肖像动画吸引目标受众，提升品牌影响力
• 游戏开发：为游戏角色创建丰富的面部动画，提升游戏的沉浸感和真实感
• 教育培训：制作生动的教学内容，通过动画形式展示历史人物或虚拟讲师，提升学习体验
• 艺术创作：为艺术家提供新的创作工具，实现传统艺术形式与数字技术的融合，拓展艺术表达边界

优势

LivePortrait的核心优势在于其高效性、可控性和泛化能力的平衡。相比主流的扩散-based方法，该框架在保持高质量生成的同时，实现了12.8ms/帧的生成速度，大幅提升了实时性。其创新的拼接和重定向模块设计，在几乎不增加计算开销的情况下，显著增强了对生成结果的控制能力。

该框架通过6900万高质量帧的大规模训练数据和混合图像-视频训练策略，实现了优异的泛化能力，不仅支持多种艺术风格，还能扩展到动物肖像动画。网络架构的优化和更好的运动转换与优化目标设计，确保了即使与扩散-based方法相比也具有竞争力的生成质量。

价值总结

LivePortrait为用户提供了一个高效、可控且高质量的肖像动画生成解决方案，其核心价值在于平衡了计算效率与生成质量，同时提供了精细的控制能力。该框架显著降低了高质量肖像动画的制作门槛，使创作者能够快速将创意转化为生动的动画内容。

用户可以通过简单的操作实现复杂的肖像动画效果，包括跨风格转换、表情控制和动物动画等，极大扩展了创作可能性。无论是专业创作者还是普通用户，都能从中获益，提升内容创作的效率和质量，创造出更具吸引力的数字内容。

用户体验与优势

LivePortrait提供了直观且强大的用户体验，用户只需提供单张源图像和驱动信号，即可快速生成高质量的肖像动画。其高效的生成速度确保了流畅的交互体验，使用户能够实时预览和调整动画效果。

精细的控制功能，特别是眼睛和嘴唇的重定向控制，让用户能够精确调整面部表情，实现所需的情感表达。跨风格和跨物种的泛化能力，为用户提供了广阔的创作空间，满足不同场景下的动画需求。整体而言，LivePortrait以其高效、可控、高质量的特性，为用户带来了卓越的肖像动画创作体验。

技术优势

LivePortrait在技术层面采用了基于隐式关键点的框架，而非主流的扩散-based方法，这一选择有效平衡了计算效率和可控性。通过扩展训练数据至约6900万高质量帧，并采用混合图像-视频训练策略，显著提升了模型的泛化能力和生成质量。

网络架构的升级和更好的运动转换与优化目标设计，进一步增强了模型性能。特别值得一提的是，该框架创新性地发现紧凑的隐式关键点可以有效表示一种混合形状，并精心设计了拼接和两个重定向模块，这些模块使用小型MLP实现，增加的计算开销可忽略不计，但显著增强了可控性。

实验结果表明，该框架即使与扩散-based方法相比也表现出色，生成速度在RTX 4090 GPU上达到12.8ms/帧，展现出优异的计算效率和技术竞争力。