最近AI作画的确很火,在DALL-E和Imagen锋芒毕露之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出五光十色的AI作画作品。本次经过一个开源工具来全体测验三种模型作用,用几行代码就全体测验国内外模型的作用。
ERNIE-ViLG作用
prompt:明日方舟,炫酷,兽耳娘,机能风,卡通
prompt:巨大的纯白色城堡
项目地址:PaddleHub/modules/image/text_to_image/ernie_vilg at develop PaddlePaddle/PaddleHub GitHub
Stable-Diffusion(SD)作用
prompt:a beautiful landscape photography of snow covered Rocky mountains, a dead intricate tree in the foreground, sunset, dramatic lighting, by Marc Adamus
prompt:close-up maximalist illustration of panther, by makoto shinkai, akihiko yoshida, yoshitaka amano, super detailed, hd wallpaper, digital art
prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation
项目地址:github.com/PaddlePaddl…
Disco-Diffusion作用
prompt:在artstation上的一幅美丽的画,一个独特的灯塔,照耀着它的光穿过喧嚣的血海
由greg rutkowski和thomas Kinkade所作
prompt:在安静的风景中画一幅美丽的建筑画
由Arthur Adams在artstation上所作
prompt:小桥流水人家
项目地址:github.com/PaddlePaddl…
以上冷艳的文图生成作用,是经过PaddleHub三行Python代码实现的作品 :
importpaddlehubashub
module=hub.Module(name="ernie_vilg")
results=module.generate_image(text_prompts=["巨大的白色城堡"])
以上ernie_vilg替换为stable_diffusion或disco_diffusion_ernievil_base即可轻松体会不同的文图生成模型,用户也可自定义修正text_prompts来获得不同的作用体会。
三行代码尽管简单,可是代码背面的文图生成模型可不简单,分别来源于现在文图生成范畴最顶尖的开源作用:ERNIE-ViLG、Stable-Diffusion以及Disco Diffusion + ERNIE-ViL。以DD+ ERNIE-ViL为例,DD分散模型负责从初始噪声或许指定初始图画中来生成方针图画,ERNIE-ViL负责引导生成图画的语义和输入的文本的语义尽可能接近,跟着分散模型在ERNIE-ViL的引导下不断的迭代生成新图画,最终能够生成文本所描绘内容的图画。这种冷艳的作用,在PaddleHub这儿只需要三行代码即可体会。也能够经过huggingface的ERNIE-ViLG空间体会,如图:
国内外文生图模型的作用对比,大家能够自行测验,只需要三行代码就能够,项目地址:
Github:github.com/PaddlePaddl…