AI绘图-基于深度学习的图像风格迁移
大众号原文:https://mp.weixin.qq.com/s/l6QFzV9hpVEG2ZQxp0YFfA
最近发现一款能够编辑图画风格的APP:Prisma。在这款) VAPP里,能够对方针图片应用不同的图画风格然后生成新的图片。
比如能够将外滩的相片,应用Mosaic风格,[ j ? P Z #得到Mosaic风格的外滩相片。看起来图片作用还挺惊艳的。
这样的图片处理转化进程专业点的描绘便是:图画的风格搬迁。与图画风格相对应的是图画的内容。一张图画能够由这两* k Y j z S ] 8种特征描绘W R J t w ? a 4 ::
比如说下面这张图,风格明显是中国风,图中的山、河、树则是图画的内容。
所以图画风格搬迁一般指的是把图片特征中的风格部分搬迁应用到方针图片的进程。整个搬迁处理的输入别离有内容图和风格图,输; p l ) e I J n出便是风格搬迁后的成果图。应用图画风格搬迁后,能够生成相同风格的图片。
使用不同风格图画的示例图: t K K T @ F:
图画的风格与内容相比,显得更为模糊,难以量化。那么如何用9 F e & u程序完成这样的图. 9 D画风格搬迁呢?事实上,现在比较干流的做法之一便是使用卷积神经网络,也便是CNN网络完成。2015 年,Gatys等人发表研究成果:A Neural Algorithu 9 _m of Artistic Style,能够认为是将CNN网络应用于风格搬迁的开山之作,从此之后相关的研究就层出不穷。
为什么CNN网络能够完成图画风格搬迁呢?其间心点在于,CNN网络能够对图画进行不同层次的特征g 7 b M L h R + 7提取# o 0 O $ f。图画具有风格和内容这两方面的视觉特征,一般能够别离对应为两个层次的特征:低层C s t 0 1次特征和高层次特征。如:纹路和b 1 V d色调等能够认为是低层次特征,也便是用来描绘图L x % E .画风v ; D 5 M 6 Q格的特征q I ! ` L T q L;对较为笼统1 g = % @ U !的图画内容的描绘则为高层次特征,也便是常说的图画内容,比如说房子,河流。所以只需要选择适宜的CNN模型,并练习其间能够表明图画风格和图画内容的网络层,就能够完成新图画的风格改换。
除了图片之外,我们甚至还能够应用到视频上去,完成视频风格的搬迁,协助我们完成更加丰富多变的视频作用。比如下面油画风c / G *格的小狐狸。
现在也有一些根据典型风格搬迁的扩展,有兴趣的能够再q t $ @ u y G 9查找相关资料。这= m S *儿举几个例子。
-
将多种风格同时搬迁到一张图画中g E 9 h N U
- 图画局部风格a A r搬迁
根据图画风格搬迁的方法生成图片,也是一种获取创意图片G b 4和视频的方法,甚至能够衍F C R l生出更多的营销模式。随着端上深度学习的开展,将练习好的模型布置在端上,能 A o ; m R @够直接在端上应用这些技能,移动化的应用场景和想象空间也会更大。前面说到的艺术图转化的APP基本上m 8 I也是按照这种思路完成的k 5 7。
相关引用:
https://github.com/lengstrom/fast-style-| Q ` T ,tranf f } 3 T G R ksfer
https:/} W e/github.com/titu1994/Neural-Styc I z e E Q P fle-Transfer
大众号原文:mp.t – , f u c Y & Bweixin.qq.com/s/l6QFzV9hp…
转载请与作者联n i Q / ; f 7 ^络。