跨境派

跨境派

跨境派,专注跨境行业新闻资讯、跨境电商知识分享!

当前位置:首页 > 卖家故事 > 字节跳动发布最新AI视频模型Magic Animate(附教程)

字节跳动发布最新AI视频模型Magic Animate(附教程)

时间:2024-04-07 09:10:33 来源:网络cs 作者:利杜鹃 栏目:卖家故事 阅读:

标签: 模型  教程  视频  跳动  发布 
阅读本书更多章节>>>>

e03d02373ce53e29b0f3c65ef0a8731c.jpeg

仅仅需要一张图片加上动作轨迹,就可以生成非常自然且丝滑的视频,无论是钢铁侠跳舞还是奥特曼跑步都可以轻轻松松的制作出来,并且没有闪烁衣服上面的褶皱,周围物体上的光线反应,可以说是做的非常完美。

fc810b5bf33bb664de1b79de0a9dc04e.jpeg9a2f1d9917dd116466a734bb6d7f3f71.jpeg

但是阿里并没有发布具体的操作流程和项目测试,这个项目很快就被字节跳动秒杀了。字节跳动提供了代码和具体的演示,不仅支持把静态的图片变成有动作的视频,而且还可以结合文本生成动画,还支持多人照片实现动作驱动,简直是太秀了。

de2ff904b58f0b3887278e5a96d71416.jpegeb3015900148c736baca0851cd44b42a.jpeg

并且发布了colab和hugging face的在线体验版本,无需本地部署就可以体验到最新的研究成果。

今天我们就一起来看看字节跳动发布的magic animate。

本文主要分为三个部分:

一、magic animate的一些简单介绍

二、magicanimate的操作演示

三、动作轨迹视频的制作方法

一.magic animate的一些简单介绍

字节跳动发布的magic anim magic anim是一个基于扩散模型的人类图像动画框架,意在强调时间一致性,忠实保留参考图像并提高动画的真实感,可以在推理的过程中产生平滑的视频。

6706d076745390ac6e5ef33177d91cc7.jpeg

除了基本的图像动画化,Magic anim还能应用于更多的场景,如将未见领域的图像,例如油画或电影角色动画化。或者结合文本描述生成动画。

c7b65bc0dbd8bd3fca2eebc4279f0ad3.jpeg499b70d4f3e297f94feb81441df1791b.jpeg

这种技术在动画制作、游戏设计、虚拟现实等领域将会具有更广泛的应用潜力。

ccd25094916c4ff18bd73731f72225b3.jpeg

我们可以看看这个软件生成的视频,由三个部分组成。原始图像参考动作轨迹、视频和生成后的画面形成了一个对照组,这与之前的一些工具是不同的,之前的工具一般只展示最终的成品效果。

8f7f0d2df463a219e15122bb98d2f7c4.jpeg

多人动画功能也是非常吸引人的,我们按照对应的位置为图片上不同的角色设定不同的动作,从而使多个人物动画化。

41a4343e02e235440709982f3ff3acd0.jpeg

二.magicanimate的操作演示

接下来看一下具体如何操作。目前在git hub项目界面可以看到部署在本地的代码,但是就测试结果来看还是存在一定的不足,感兴趣的小伙伴可以按照步骤进行本地部署的尝试。

13e167b290f78e6a74d1e8493726c9c3.jpeg

我们今天主要展示两种可以快速体验到这个工具的方法,那就是使用hugging face和Google Colab,两种方法都可以实现图片的动画效果,但是我更推荐大家使用Colab进行测试,因为hugging face的等待时间会更长一些,并且会存在等待队列,需要进行排队才能进行使用。

而使用Colab则可以直接进行合成。在这里两种方法我都会进行演示。首先我们来演示hugging face。我们打开hugging face的链接。

2a5306419b5883d02289738bc2d86ad2.jpeg

最上面的界面是生成的成品,在左侧第二栏,我们可以将需要添加动画的原始图片放进去,中间需要上传动作序列视频,这个序列视频也可以自己制作。

e673a8632f26125cf68d7aa6b303ebfc.jpeg

在下一个片段,我会着重对序列视频的制作进行讲解,都是可以一键生成的,操作也是非常简单的。最右侧是一些合成的参数,一般选择默认的就可以了,或者我们可以点击下方的例子,直接更换原始图片就可以生成作品了。

比如,我们点击跑步的姿势,删掉示例的原始图片,上传一张新的图片,然后点击生成。

fb392d3aaef6032c0215022f9bfb4fc8.jpeg71bd12263eb1d54527d1d98f1ed634eb.jpeg

我们可以看到上方提示需要进行等待排队的队列比较多,成品是这样的。

189d6dca4b10abf0b1ce8ccb775b1ebf.jpegd4edfcd3d666df445220b15b31d353a8.jpeg

然后我们来看看如何使用Colab进行线上测试。我们打开Colab的链接,执行页面上面的代码,我们点击运行单元格,这里需要稍微等待一下,大概两三分钟左右就可以完成下载。

677db5edafb5c1d77c7e612048cf1f40.jpegc08d9e480d297a450244860ba07fca00.jpeg

等到下载完成之后,在下方会出现操作界面的链接,本地的和共享呢都是可以进行使用的,我们优先选择使用本地的,如果有出现本地界面无法访问的情形,我们可以点击打开共享界面的链接。

262bb7b20f04b3f06b47b957ceedfe1c.jpeg

按照刚才的方法上传原始图片和参考动作序列视频。然后点击生成就可以了,这里等待的时间会短很多,不需要进行排队,可以直接生成。

5c6ccce07baf6b391af973fdd82ce180.jpeg

三.动作轨迹视频的制作方法

这里有两种使用vid2densepose的方法,一种是使用Google Colab的方法,另一种则是采用一键部署的方法,利用工具将vid2densepose部署在本地进行使用,但是这个工具只支持n卡,稍后会进行详细的讲解。

首先来看看使用Google Colab的方法。打开Google的链接,点击运行第一个和第二个单元格,运行完成之后,点击左侧的文件上传我们的原始视频素材。

4d2eed558b4b9933cb5e7c8bf1139dc7.jpeg7f037082ebeccd4bbbb0ccaa284e1901.jpeg

我们右键重命名,输入input video,我这里的视频名称已经提前进行了命名,因此不需要进行修改,我们需要在这里指定输入输出视频的名称和路径,如果想要知道文件的路径的话,我们右键。复制视频的路径。然后来到这里进行粘贴。这里一定要注意,路径需要使用英文的引号引起来,不然会无法识别。

b2e1dd5c6cb5a65c3f68885a77744589.jpegd8c4c38171ccb1ee540c5e2c8427ff8f.jpeg

然后我们按照输入路径的方式写出输出的路径。然后点击运行单元格就可以了。生成的输出视频就在文件里,如果想要下载的话,我们点击右边的三个点,点击下载。

7623adc27580539684baf6e31bb045ec.jpeg

这样就可以在本地查看了,视频前后的对比是这样的。

f0307ec937db391eb818523c7fb01719.jpeg

然后我们来看看另一种方法,那就是使用pinokio一键部署到本地。首先我们打开一键部署的链接,点击下载pinokio。下载完成之后,我们将压缩包粘贴在一个空白的文件夹里,然后右键解压到当前文件夹,我们点击这个应用程序就可以完成下载了。

c028a750ad48ca43f6b5ef08b1dfac63.jpeg8e88574dc7103587d28f1b3d817c176d.jpeg82bceba5fe03933f49eec54607b7fa53.jpegcbcf61efe958f30925748fcbd23655a1.jpeg

这里不要改变路径,否则会无法使用。然后我们点击访问发现界面。

ae24693be4499a846eb068b81f0ed19c.jpeg

点击vid2densepose选项。

aee702279e647a5081e109012edeab90.jpeg

注意需要选择适配magic animate的这一个,然后点击下载就可以了。

53007e76e93d4fcf109e8ef48dec2745.jpeg

下载完成之后,我们在pinokio中打开vid2densepose的链接就可以了,这样就可以在本地运行了。

bf0184ee4b2e24b8e697068882d04803.jpeg

并且使用的是本地电脑的算力,电脑的配置越高,生成的速度也会越快。我们可以看到这个界面上还有很多其他的工具可以选择,也可以在这里一键部署magic animate,这样就可以在本地使用了,但是使用的前提是电脑需要有n卡。

阅读本书更多章节>>>>

本文链接:https://www.kjpai.cn/gushi/2024-04-07/155031.html,文章来源:网络cs,作者:利杜鹃,版权归作者所有,如需转载请注明来源和作者,否则将追究法律责任!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

文章评论