我的图片动了，它真的动了！！！（玩转AI）

wy168 发表于 2022-8-28 06:48:04

今天，给大家介绍一个能够让图片动起来的AI算法。通过一个视频，就可以驱动静止的图片，按照视频的动作，运动起来。成龙大哥，驱动各个图片的效果：<div id="9723d4b0-1cd1-4753-9d3f-c6c8bda58e34" style="font-size:18px;margin:20px 0px;text-align:left;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/4f0d4acdcf2440f39fe46b1dfba2fef3~noop.image?_iz=58558&from=article.pc_detail&x-expires=1660566094&x-signature=yni%2Br2ftEj2LWK%2BMEylIGBFdKLk%3D" style="width:100%;"></div>除了驱动头像，还可以驱动身体。<div id="f0423dac-b33a-4088-8708-0185cdfa0835" style="font-size:18px;margin:20px 0px;text-align:left;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/18a3b27dd54043b39448be7ec59b54f5~noop.image?_iz=58558&from=article.pc_detail&x-expires=1660566094&x-signature=cOspA8V6ampiWYK8FGVMy2w75rY%3D" style="width:100%;"></div>该死，这糟糕的心动感，我必须跑一跑这个算法。今天，继续手把手教学。算法原理、环境搭建、效果实现，一条龙服务，直接开始！<h1 id="1657f054-b31c-4f12-be7d-6b8e2775477f" style="font-size:20px;margin:20px 0px;font-weight:700;">算法原理</h1>论文的名字是：「Thin-Plate Spline Motion Model for Image Animation」清华大佬们的作品，翻译成中文大概意思是，基于薄板样条插值的图像运动模型。我大致浏览了下论文，针对一些现有的无监督学习方法，进行了改进。缺少背景修复，也就是inpainting，这样生成的运动效果就不够逼真。今天要介绍的算法，对此做了改进，成为了新的 SOTA。这类算法还是挺有意思的，可以用在视频会议、直播、视频特效、娱乐短视频等多种场景。<div id="f799ca9d-784e-4ee6-bca8-748ec5bf4d09" style="font-size:18px;margin:20px 0px;text-align:left;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/0e28ebc18b05484b906fc1f5d983c0c4~noop.image?_iz=58558&from=article.pc_detail&x-expires=1660566094&x-signature=msDX6eESAWLK0QRXR5uvERi5MlY%3D" style="width:100%;"></div>算法主要分为四个部分：<ul id="b7c3939c-adee-419a-aefd-3e6e6d4ba45d" style="font-size:18px;margin:20px 0px;text-align:left;"><li id="f2575d1a-a546-454e-bc1b-06bc35f1ea54" style="font-size:18px;margin:20px 0px;text-align:left;">Keypoint Detector：关键点预测，输出人体的关键点。</li><li id="c47f7bb8-f831-4a57-9771-127585afb8bf" style="font-size:18px;margin:20px 0px;text-align:left;">BG Motion Predictor：图像背景也是运动的，背景变化预测。</li><li id="3a2768b5-5326-4b24-8e11-67b600e2fd1c" style="font-size:18px;margin:20px 0px;text-align:left;">Dense Motion Network：可以理解为运动估计网络，结合关键点信息、背景运动信息，以及局部仿射变换信息，生成下一步的动作。</li><li id="96a025d5-e1e8-4204-bd70-b1d574b96a81" style="font-size:18px;margin:20px 0px;text-align:left;">Inpainting Network：对运动后空缺的部位进行补全，填充背景。</li></ul>Dense Motion Network 和 Inpainting Network 的网络都是 hourglass 结构，就是先下采样，再上采样，形似沙漏状，密歇根大学的研究团队在ECCV2016发表的比较经典的网络结构。这个算法，是一个新的端到端算法，提出了 TPS motion estimation 方法来驱动图像。篇幅有限，更详细的内容，可以直接看论文：<blockquote id="51d60006-beec-4cd9-92fc-ec788671ac85" style="font-size:18px;margin:20px 0px;text-align:left;">https://arxiv.org/pdf/2203.14367.pdf</blockquote><h1 id="126de13a-42e4-4785-87e1-16dcea5e5a2d" style="font-size:20px;margin:20px 0px;font-weight:700;">项目部署</h1>算法已经开源：<div id="47d0f7b4-f4c8-4b5d-a265-640fa5441762" style="font-size:18px;margin:20px 0px;text-align:left;"><img src="https://p3-sign.toutiaoimg.com/tos-cn-i-qvj2lq49k0/e7d0a90637514f999eedbbd1282f0f07~noop.image?_iz=58558&from=article.pc_detail&x-expires=1660566094&x-signature=1pDI8NQEar7gVJwn1iCO609nXiY%3D" style="width:100%;"></div>项目地址：<blockquote id="c121308a-33b3-474b-99eb-b1d178d55f30" style="font-size:18px;margin:20px 0px;text-align:left;">https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model</blockquote>首先需要搭建开发环境，这里还是建议使用 Anaconda，安装一些必要的第三方库，可以参考这两篇开发环境搭建的内容：别再折腾开发环境了，一劳永逸的搭建方法Pytorch深度学习实战教程（一）：语义分割基础与环境搭建两篇开发环境搭建教程，如果想手把手的视频教程，可以参考这个：<blockquote id="d52beefc-d668-47b3-9db0-92ccadd3f324" style="font-size:18px;margin:20px 0px;text-align:left;">https://www.bilibili.com/video/BV14R4y1g7qs</blockquote>环境搭建的问题，文章和视频教程都出过了，可以参考，这里就不再累述。项目的 requirements.txt 详细列出了依赖。<pre id="584152b8-87b3-4bab-9e2e-6740b0cf99b0" style="font-size:18px;margin:20px 0px;text-align:left;"><code id="2a8705e2-4aa0-4f9b-a494-61dea787ec01" style="font-size:18px;margin:20px 0px;text-align:left;">cffi==1.14.6cycler==0.10.0decorator==5.1.0face-alignment==1.3.5imageio==2.9.0imageio-ffmpeg==0.4.5kiwisolver==1.3.2matplotlib==3.4.3networkx==2.6.3numpy==1.20.3pandas==1.3.3Pillow==8.3.2pycparser==2.20pyparsing==2.4.7python-dateutil==2.8.2pytz==2021.1PyWavelets==1.1.1PyYAML==5.4.1scikit-image==0.18.3scikit-learn==1.0scipy==1.7.1six==1.16.0torch==1.10.0+cu113torchvision==0.11.0+cu113tqdm==4.62.3</code></pre>使用 conda 或者 pip 安装即可。环境弄好，下载权重文件，作者提供了清华云盘，下载速度还不错。<blockquote id="a10a4572-4ecd-4542-a197-d77d77c24ac8" style="font-size:18px;margin:20px 0px;text-align:left;">https://cloud.tsinghua.edu.cn/d/30ab8765da364fefa101/</blockquote>创建一个 checkpoints 文件夹，然后将权重文件放进去。然后就可以下面的指令运行算法：<pre id="81f6d7ae-690d-4629-9765-65b231029ec5" style="font-size:18px;margin:20px 0px;text-align:left;"><code id="5e4e9039-f31d-4719-927f-66ff699f27ec" style="font-size:18px;margin:20px 0px;text-align:left;">CUDA_VISIBLE_DEVICES=0python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4</code></pre>CUDA_VISIBLE_DEVICES 指定 gpu，config 指定配置文件，checkpoint 指定权重文件，source_image 指定原始图像，driving_video 为驱动图像的视频文件。如果不想部署本地的环境，也可以使用 Colab：<blockquote id="810367bc-0cfe-45bf-9903-b45c7ac68b16" style="font-size:18px;margin:20px 0px;text-align:left;">https://colab.research.google.com/drive/1DREfdpnaBhqISg0fuQlAAIwyGVn1loH_?usp=sharing</blockquote>这个算法是没有声音的，如果想添加声音，生成一个视频，可以参考我之前的代码改造下这个算法。我之前用的是 ffmpeg 写的处理代码。让图片动起来，特朗普和蒙娜丽莎深情合唱《Unravel》<h1 id="ef402191-cc00-4edb-9882-9aa2d399b5e4" style="font-size:20px;margin:20px 0px;font-weight:700;">总结</h1>怎么样？鬼畜素材又有了吧。想看这个算法的视频教程吗？考虑要不啥时候开个直播，随便聊聊。

页: [1]

泓嘉网创's Archiver

我的图片动了，它真的动了！！！（玩转AI）