AniPortrait：音频驱动逼真人像合成，腾讯AI数字人整合包
AniPortrait：音频驱动逼真人像合成，腾讯AI数字人整合包
之前阿里展示EMO项目让照片唱歌说话时，惊艳了所有人，然而到现在为止一直还没开源被饱受诟病，今天腾讯的AniPortrait来啦！也是一个让照片开口项目说话的项目！根据音频和图像输入 生成会说话、唱歌的动态视频它可以根据音频（比如说话声）和一张静态的人脸图片，自动生成逼真的人脸动画，并保持口型一致。支持多种语言，同时支持进行面部重绘和头部姿势控制。
腾讯提出的新颖框架，专注于通过音频和参考肖像图像生成高质量动画。该方法分为两个阶段：首先从音频中提取3D中间表示，并将其投影到2D面部地标序列中；其次，使用一个结合运动模块的高质量扩散模型，将地标序列转换为逼真且时间上连贯的肖像动画。
Github开源地址：
https://github.com/Zejun-Yang/AniPortrait
核心技术
- 音频分析：AniPortrait接收音频文件作为输入，通过对这些数据的深入分析，识别出语音模式、情感和节奏。
- 动画生成：依据音频分析结果，AniPortrait能够生成与声音匹配的肖像动画。特别是在音频包含说话声的情况下，动画会模拟真实的口型和面部表情，以符合说话的节奏和情绪。
所提出的框架包括两个模块，Audio2Lmk 和 Lmk2Video。前者旨在从音频输入中提取一系列能够捕捉复杂面部表情和嘴唇运动的关键点序列。后者利用这些关键点序列生成具有时间稳定性的高质量肖像视频。下图1中概述了该框架，并在下文提供了更多细节。
生成结果
如何下载资源？
1：下载压缩包
首先，您需要从以下链接下载一键启动包：
- 下载地址：https://www.aigchouse.com/1039.html 您可以在页面右侧找到下载按钮进行下载。
2：启动程序
下载完成后，解压压缩包，点击”启动程序”
3：浏览器操作
在浏览器中访问 http://127.0.0.1:7680/，即可通过界面使用工具。
系统要求
请确保您的电脑满足以下配置要求：
- 操作系统：Windows 10/11 64位
- 显卡：至少16GB显存的NVIDIA显卡
最新AI资讯和AI资源，欢迎访问AI科技智库网
AI科技智库，一站式AI工具、资料、课程资源平台，每日持续更新。致力于通过分享全球优质AI工具、资源和资讯，帮助更多人了解使用AI，提升工作和学习效率。我们的用户群体是AI相关的爰好者、创作者和开发者，通过学习如何使用这些工具进行创作、开发和研究，解决工作、生活和商业经营中的问题。
网站地址
AI科技智库：https://www.aigchouse.com
这里有什么？
1、AI工具集合
您可以轻松找到全球最新热门Al工具，为了方便使用，AI科技智库团队精心制作了AI工具整合包，您可以下载并在Windows系统私有化本地化运行，包括图片、文本、视频、音频等工具资源，我们按照功能、业务和行业来分类，尽可能帮助大家找到自己想要的AI工具。
1.1 AI图片工具
AniPortrait：音频驱动逼真人像合成，腾讯AI数字人整合包
ComfyUI 秋叶整合包：工作流界面，解压即用，快速入门AI绘画
Stable Diffusion 秋叶整合包v4.7 ：解压即用，快速入门AI绘画
MuseV ： 数字虚拟人视频生成AI工具，一键整合包，开箱即用
DiffSynth Studio：专业视频风格转绘/换衣，最佳DomoAI本地平替，本地整合包
FRESCO – 一键视频风格转换AI工具，告别复杂工作流，本地整合包
AnyDoor：服装替换，一键换装，向场景中无缝传送物体的AI工具整合包
Lama Cleaner：一键去水印，修复老照片神器，去背景AI工具，本地整合包
FaceFusion ：最强AI换脸工具，去遮挡，高清化卡通脸一键替换，本地部署包！
Waifu2x Extension GUI ：开源图片视频GIF无损放大AI神器，AI工具本地整合包
v2vt：视频自动翻译AI工具，HeyGen最佳平替,本地整合包
Stable Diffusion + ReActor AI换脸插件一键整合包
Vid2Densepose + MagicAnimate 一张照片就能生成跳舞视频，AI工具离线整合包
Stable Diffusion OpenVINO整合包 轻薄本CPU24秒出图!
Upscayl：顶级AI智能图片放大工具，最高放大图片16倍
Osprey：像素级别的区域图像分析多模态AI工具，本地整合包
Image to Line Drawings素描神器：图片一键转素描AI工具，本地整合包
PhotoMaker：最新AI风格写真神器，AI工具本地整合包
InstantID：单图秒生成全套风格写真AI工具，本地整合包
TripoSR ：快速单图生成3D模型AI工具，1秒完成，无需GPU，本地整合包
Oms-Diffusion：一键虚拟换装神器，AI工具整合包
Stable Diffusion WebUI Forge 超快SD整合包
SDXL-Lightning：最快文生图AI工具，本地整合包
1.2 AI文本工具
通义千问0.5B模型 Langchain-Chatchat本地整合包
1.3 AI视频工具
Facefusion：一键换脸，最强换脸AI数字人工具整合包
DynamiCrafter – 图片转动画视频AI工具，腾讯出品
FRESCO – 一键视频风格转换AI工具，告别复杂工作流，本地整合包
ProPainter :专业视频修复，去水印AI工具，抹除视频中静态水印
Sora开源平替 Stable Video Diffusion，AI视频生成工具本地整合包
1.4 AI音频工具
GPT SoVITS ： 声音AI克隆工具，完美复刻任何角色的语音、语调！
EmotiVoice : 多音色语音合成神器,文本转语音情绪控制AI工具,本地整合包
MAGNet：Meta文本音乐AI生成工具，本地整合包，吉他摇滚、电子音乐都能搞定
2、AI学习资源
AI科技智库还提供了很多Al资料和课程，包括AI面试资料、AI系统产品原型、AI产品经理视频教程，无论你是开发者还是产品经理，都可以在这里找到适合您的资源。相信每个人都可以开启自己的Al学习之旅。
吴恩达最新课程《LangChain: Chat with Your Data》
2024大模型（LLMs）算法面试资料，NLP算法，清华校友整理
AI副业变现实战案例教程（16合集）风口新趋势，一定要冲一冲
3、AI商城
AI科技智库还提供了国外AI工具网站代充服务，大模型本地化部署服务
Heygen ：全球爆火的顶尖虚拟数字人视频AI工具，一键生成
