快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移
近日，快手可灵大模型团队开源了名为LivePortrait的可控人像视频生成框架，该框架能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。如下动图所示：
来自网友测试LivePortrait
来自网友测试LivePortrait
快手开源的LivePortrait对应的论文题目为：
《 LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control 》
LivePortrait论文首页
并且，LivePortrait发布即可用，秉承快手风格，论文、主页、代码一键三连。
LivePortrait一经开源，就得到了HuggingFace首席执行官Clément Delangue的关注转发，首席战略官 Thomas Wolf还亲自体验了功能，厉害了！
并引起了全世界网友的大规模评测：
同时，LivePotrait获得了开源社区的广泛关注，短短一周多时间左右，在GitHub上总计收获了6.4K Stars，550 Forks，140 Issues&PRs，获得广泛好评，关注仍在持续增长中：
此外，HuggingFace Space、Papers with code趋势榜连续一周榜一，近日登顶HuggingFace所有主题排行榜榜一：
HuggingFace Space榜一
Papers with code榜一
更多资源信息，可以查看：
- 代码地址：https://github.com/KwaiVGI/LivePortrait
- 论文链接：https://arxiv.org/abs/2407.03168
- 项目主页：https://liveportrait.github.io/
- HuggingFace Space一键在线体验：https://huggingface.co/spaces/KwaiVGI/LivePortrait
LivePortrait到底用了什么样的技术，能够在全网快速”走红”呢？
方法介绍
和当前主流基于扩散模型的方法不同，LivePortrait探索并拓展了基于隐式关键点框架的潜力，从而平衡了模型计算效率和可控性。LivePortrait聚焦于更好的泛化性，可控性和实用的效率。为了提升生成能力和可控性，LivePortrait采用69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形 (Blendshape) 的有效隐式表示，并基于此精心提出了贴合 (stitching) 和重定向 (retargeting) 模块。这两个模块为轻量MLP网络，因此在提升可控性的同时，计算成本可以忽略。即使是和一些已有的基于扩散模型的方法比较，LivePortrait依旧很能打。同时，在RTX4090 GPU上，LivePortrait的单帧生成速度能够达到12.8ms，若经过进一步优化，如TensorRT，预计能达10ms以内！
LivePortrait的模型训练分为两阶段。第一阶段为基础模型训练，第二阶段为…
第一阶段基础模型训练
第一阶段基础模型训练
在第一阶段模型训练中，LivePortrait对基于隐式…
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移
