随着美颜算法的升级,以及硬件设备的不断革新,现在的美颜SDK的功能已经非常丰富了,不管是最基本的美颜效果,还是更高级的趣味拍摄功能,都得到了大家的认可,特别是在直播和短视频这两个平台,它的知名度和使用率是非常高的,甚至是刚需一般的存在。
而今天小编要讲的,便是美颜sdk中的一个功能,那就是可以将人物照片“风格化”。通过对用户使用习惯的调查,小编发现短视频和直播平台里的“动画风格”是最受用户欢迎和使用频率最高的。所以,今天我们就来了解一下动画风格的实现流程。
一、人像转化为动画风格是如何实现的?
“动画拍摄”顾名思义,就是将人物的形象转化成“二次元”的动画,这个功能在某音上也有,相信大家平时刷视频的时候都能看到。其实现原理其实就是对目标图像进行色彩、纹理的变换,本质上就是将输入的对象变换成特定的风格,而非人脸的对象也随之变换。
二、GAN技术
说完了最基本的实现步骤,接下来就是更深入的东西了,在这里就必须提到它的核心技术——“GAN”,这也是效率最高的一个算法。但对于美颜sdk动画风格而言,只要改变画面中的所有物体就可以了,从理论上说,这要比改变局部细节要简单得多。
总的来说,GAN风格迁移的应用涉及到的研究领域很多,方法也很多,小编在此只选择其中的几项核心技术加以介绍。让我们先来看看Pix2Pix和 CycleGAN吧,前者需要深度学习数据,而后者则没有这个必要,所以我们还是选择 CycleGAN。
三、深入融合
但是,当美颜SDK直接使用 CycleGAN算法时,并不能立刻得到成品,因为在处理人脸语义信息时,有极大概率会出现关键信息错乱的情况,这种问题会用到两种方式修正。
1、通过增加人脸关键点来预测任务,约束输出图像中的五官分布。
2、另一种方法是根据注意机制学习人脸的有效区域。
这就是小编关于美颜sdk人像风格化趣拍功能的一个小模块的说明,在用户们日常使用的每个模块和每个小功能的背后,都有一个复杂的美颜算法,要保证美颜sdk的流畅性不是一件容易的事情,需要长时间的不断的技术升级和迭代。