0
点赞
收藏
分享

微信扫一扫

前端小白的学习之路(less&scss)

Stable Diffusion最强版本,来了!

图片

刚刚,SDXL 1.0正式发布,可免费在线试玩。

效果上,无论是以假乱真的写实大片:

图片

超现实的熊猫喝啤酒:

图片

还是赛博朋克漫画,都非常nice~

图片

Stability AI表示,SDXL 1.0能生成更加鲜明准确的色彩,在对比度、光线和阴影方面做了增强,可生成100万像素的图像(1024×1024)。

而且还支持在网页上直接对生成图像进行后期编辑。

(有一股和Midjourney、Firefly打擂台的味儿了)

网友们已经按捺不住上手试玩了~

和基础Stable Diffusion相比,SDXL 1.0生成结果更加准确和逼真。

图片

而且官方表示,提示词也能比之前更简单了。

这是因为SDXL 1.0的基础模型参数量达到了35亿,理解能力更强。

对比基础版Stable Diffusion,参数量只有10亿左右。

由此,SDXL 1.0也成为当前最大规模的开放图像模型之一。官方甚至直接说这就是世界上最好的开放图像模型图片

图片

话不多说,我们来上手体验了~

把马斯克印在青花瓷上

SDXL 1.0在操作上很便捷,直接输入prompt即可,还能从下面勾选风格、尺寸参数等。

图片
图片

一次生成默认是出4张图,如果不满意还可以点下方“加号”让它继续画。

图片

官方介绍说,现在让SDXL 1.0生成大作,无需再加入“杰作”这种提示词了。

让它生成一幅日漫风格的图像,画风非常贴合,而且在光影的处理上也更加自然了。

图片

或者是一幅风景照?也能以假乱真了。

图片

甚至是让马斯克站在中式庭院里,抬头斜望着天空……

图片

或者是把苹果收购了?

在「WWDC」上,他举着全新款iPhone向人们展示,身边还围满了记者和粉丝(doge)。

图片

除了这些老马的洋葱新闻之外,绘画风格的作品效果也不错。

左边的是齐白石水墨风格,而右边是一幅漫画。

图片

除了绘画,也可以把老马放进我们的元青花。

图片

上面展示的这些「老马的故事」,用的prompt都比较简单。

但从效果并没有因为提示词简单而拉胯,这也与官方的说法相印证。

图片

不过我们还是想看看,如果用更加复杂精致的prompt,会是什么样子?

我们找到了Midjourney创作的一张老马在苏联担任汽修工人的珍贵照片,重新喂给MJ,让它生成个prompt。

图片

MJ生成了下面这样的prompt,我们就用它来测试SDXL:

图片

风格完全符合我们的预期,细节也还不错。

再来一个复杂prompt的图作为收尾,同样是MJ根据此前的作品生成后喂给SDXL。

左边是SDXL的作品,右边是MJ的原版,大家可以对比一下。

图片

提示词同样支持中文,不过似乎会在给出结果中倾向于国风,准确性可能也会受到影响。

比如输入“一只老虎在海边”后,意外给出了一个国风妹子。

图片

效果大家都已经看到了,那么SDXL生成图片的速度如何呢?

对于免费用户来说,时间主要花费在排队上了,不过也不会等待太久。

在5.5秒的时间内,排队人数从160减少到了99。

图片

除了生成图像外,SDXL还提供了很多后期编辑功能。

具体来说,包括去除背景、细节处理、画幅扩增等等。

图片

这些功能是SDXL所在的Clipdrop平台上已有的,而SDXL可以一键将生成的图片传入对应模块。

这里我们选择背景消除功能展示一下,可以看出边缘的细节几乎没有什么破绽。

图片

目前,SDXL的免费使用额度还是比较高的,登录后每个账户每天可生成400张(需要排队)。

月付的价格是9美元每月,年付则相当于7美元(约50元人民币)每月,包含了1500张每天的SDXL额度,且无需排队。

图片

不过不同区域的价格似乎也有所区别,比如阿根廷的年付价格平摊到每月是742比索(约合19.4元人民币或2.7美元)。

图片

此外,由于付费版本实际上是Clipdrop平台的Pro订阅,所以也包含了该平台的其他功能。

除了Pro账户,还有API版本可供开发者使用(可以访问Stability AI、Amazon等平台)。

开放图像模型中的“最大杯”

在最新博客中,Stability AI介绍了SDXL 1.0的更多技术细节。

首先,模型在规模和架构上都有了新突破。

它创新性地使用了一个基础模型(base model)+一个细化模型(refiner model)。

二者的参数规模分别为35亿66亿

图片

这也使得SDXL 1.0成为目前规模最大的开放图像模型之一

Stability AI创始人莫斯塔克(Emad Mostaque)表示,更大规模的参数量能让模型理解更多概念,教会它更深层次的东西。

同时在SDXL 0.9版本还进行了RLHF强化。

这也是为什么现在SDXL 1.0支持短提示词,而且能分清红场(the Red Square)和一个红色的广场(a Red Square)。

图片

在具体合成过程中,第一步,基础模型产生有噪声的latent,然后由细化模型进行去噪。

其中基础模型也可以作为独立模块使用。

这两种模型结合能生成质量更好的图像,且不需要消耗更多计算资源。

官方介绍SDXL 1.0可以运行在8GB VRAM的消费级GPU上,或者是云端。

除此之外,SDXL 1.0在微调也有了提升,可以生成自定义LoRAs或者checkpoints。

Stability AI团队现在也正在构建新一代可用于特定任务的结构、风格和组合控件,其中T2I/ControlNet专门用于SDXL。

不过目前这些功能还处于beta测试阶段,后续可以关注官方更新。

图片

总结来说,文生图都是一个逐渐迭代的过程,SDXL 1.0的目标就是让这个过程更加简单。

莫斯塔克表示,现在只需要5-10张图片,就能快速微调模型。

从用户反馈中也能看到,相较于Stable Diffusion,SDXL 1.0更能让大家满意。

图片

实际上,从今年4月以来,Stability AI就发布了SDXL最早的测试版。

6月份开始进行内测,前段时间发布了0.9版本,当时就预告了会在7月发布一个开放版本,即最新的1.0版本。目前相关代码权重已经发布在GitHub上。

而且Stability AI机器学习负责人表示,相较于SDXL 0.9,1.0版本降低了对算力的需求。

写在最后

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

举报

相关推荐

0 条评论