Stable Diffusion Reimagine 是由 Stability AI 开发的一种稳定扩散算法,它能够在不复制原始图像的情况下生成图像的变体。目前,Reimagine 只能通过网络界面使用,但预计不久将开源。与文本编码器不同,Reimagine 使用图像编码器。
这次,人类画手是真要失业了。
你敢相信,这张电影剧照一样的图片,居然是AI画的?
Midjourney v5生成的光影和皮肤效果
更邪乎的是,AI画手还会自己动脑子。
最近新出的Stable Diffusion Reimagine,只要你给它一张图,它就会无限开发自己的想象力。你要多少版,它就给你生成多少版。
有了这个AI,无论要求多奇葩,要改多少次,甲方爸爸想要的方案,设计师和画手几分钟就甩给他。
logo放大的同时能不能缩小一点?改!
想要五彩斑斓的黑?改!
就是这么气定神闲,游刃有余。
唯一要担心的就是,千万别让甲方爸爸知道……
AI学会想象,人类连prompt的工作也要丢了?
Stable Diffusion这个AI画图工具,咱们都很熟悉了。
昨天,Stability AI又曝出一个震撼消息:它把Stable Diffusion大大改进了一把。
这次新推出的产品,叫做Stable Diffusion Reimagine。
敢叫Reimagine,听起来就很震撼。
没错,现在你只要上传一张图片,SDR就可以根据这个图片创作无数张新图。
而且它是真的想象,真的创作,并不是照抄原始图片里的面孔或物体,而是根据原始图像的灵感,重新创作新图。
体验地址:
此处内容需要权限查看
我们都知道,在以往的AI作图工具中,prompt的质量,往往决定着你能画出图片的上限。
很多人说,会不会prompt,将成为使用AI的庸人和天才的分水岭。同样,提示工程师也把prompt视为自己打开AI大奖的秘密武器。
去年在科罗拉多州博览会艺术比赛的获奖者、《太空歌剧院》的创作者,就拒绝分享出自己在Midjourney所用的提示。据说,他花了80多个小时,在900次迭代中,才完成了这幅画作。
而现在,不需要多复杂的prompt,只需要把一张图片丢给AI,算法就可以创造出我们想要的无穷多变化。
轻点一下鼠标,你的卧室立马大变样。
技术原理
这个全新的Stable Diffusion Reimagine,是基于stability.ai创造的一种新算法。
经典的Stable Diffusion模型,都是被训练成以文本输入为条件。
而Reimagine中,用一个图像编码器取代了原来的文本编码器。不是根据文本输入来生成图像,而是从图像中生成图像。在编码器通过算法后,还加入一些噪音,以产生变化。
这种方法产生了外观相似、但细节和构图不同的图像。
而与图像到图像的算法不同,原始图像首先就被完全编码,这意味着生成器并未使用来自原始图像的任何一个像素。
而且,Clipdrop还能提升图片的分辨率。用户只需上传一张小图,就能获得一张至少有两倍细节水平的图片。
据悉,Stable Diffusion Reimagine的模型很快就会在StabilityAI的GitHub上开源了。
发挥不稳
当然,Reimagine也存在一定的局限性。
最大的缺陷就是,它不会根据原始的prompt创作图像。
另外呢,它的发挥也没有那么稳定,有时很惊艳,有时会比较拉跨。
另外,虽然Stability AI在模型中安装了一个过滤器,阻挡不适当的请求,但它也不是万能的。
另外,AI模型都无法避免的偏见问题,Reimagine也不能避免,Stability AI目前正在收集用户的反馈,希望能减轻偏见。
网友已玩疯
而网友们当然已经迫不及待地玩上了。
左上角(或最左侧)是原始文件,而其他图片都是受原始文件启发后,「重新想象」的创作。
从分享的作品上来看,效果最为突出的确实是设计:
Stable Diffusion Reimagine可以在不改变整体氛围的情况下,重新设计整个场景。
看得出来,Stable Diffusion Reimagine在手绘作品的处理上,表现得非常出色。
这位网友表示,它对「感觉」理解得相当好,自己很喜欢这种自由发挥的效果。
此外,Stable Diffusion Reimagine对二次元角色拿捏得也不错。
在真实场景中,有网友在尝试了自己的自拍之后大赞称:「我打赌你们绝对猜不到哪张照片是真的。」
然而,小编在尝试一些「名场面」时,结果却是下面这样的……
首先输入《九品芝麻官》的「我全都要」:
然后让Stable Diffusion「重新想象」一下:(这结果多少有些杀马特在里面)
换成「威尔·史密斯在奥斯卡现场怒扇克里斯洛克耳光」试试?
啊,这……
或许是我们的打开方式不对,毕竟,Stability AI的主要目的帮助设计师们只用一张照片就能获得类似的备选方案。
那么,我们就用它们给出的案例来做个测试吧。
注意看,下面是官方的演示:
而下面这个是同一张图的「复现」效果……
显然,Reimagine生成的图片看起来远没有那么逼真,而且比例也很奇怪。
在进行了数次尝试之后,我们仍然没有得到一张看起来完全真实的图像。
对此,有网友在尝试之后也表示,Stable Diffusion Reimagin生成图片的质量跟Midjourney的差距还是很大的。
因为Midjourney可以通过社区生成的大量反馈进行优化,而这一点是Stable Diffusion难以比拟的。
AI画手终于会画手了
而另一强大的AI画手——Midjourney,当然也没闲着。
本周三,Midjourney宣布:我们已经升级到第5版了!
比起之前的版本,V5版的图像质量更高、输出更多样化、有更广泛的风格、支持无缝纹理、有更宽的纵横比、有更好的图像提示,以及更宽的动态范围……
Midjourney V5的效果怎么说呢,AI艺术家们给出的评价是——「太逼真,太完美,以至于令人毛骨悚然。」
「仿佛一个近视眼忽然戴上了眼镜——画面忽然间就变成4k的了。」
网友评价:因为每次都太完美,太惊艳,到最后多巴胺都停止分泌了
可以看出,Midjourney自2022年3月首次面世以来,在图像细节上一直在不停进步。去年8月推出了第3版,11月推出了第4版,今年3月就推出了第5版。
输入这样一个prompt「一个肌肉发达的野蛮人在 CRT 电视机旁手持武器、电影、8K、演播室照明」,v3、v4、v5生成的图像依次如下——
Midjourney v3(左)、v4(中)和 v5(右)
但最惊艳的提升,还是对人手的处理。
nice!
众所周知,Midjourney、Stable Diffusion和DALL-E等模型, 都经过了数百万人类艺术家作品的训练。
为了构建LAION-5B数据集,AI研究者指导的机器人爬取了数十亿个网站,包括DeviantArt、ArtStation、Pinterest、Getty Images等的大型图像库,并收集了数百万张照片。
然而即便如此,AI画手依然没学会画手。
即便是人和场景都已经达到真假难辨的程度,只要放大手部,基本就是一秒破功。
网友们纷纷表示,那些从不露手的「美女自拍」,多半就是AI干的了。
这是为什么呢?
Stability AI的解释是,在AI数据集中,人类的手不如面部显著;手在原始图像中往往很小,很少以大的形式出现。
而佛罗里达大学AI和艺术教授Amelia Winger-Bearskin的解释是AI们并不能真正理解「手」是什么,不理解它在解剖学上与人体有什么关系。
而Wieland发现,Midjourney v5在大多数时候,都能画出5个手指的手,而不是7到10个指头的。
而AI会画手之后,网上出现的任何照片,都真假莫辨了。
如果非要说Midjourney V5有什么缺点,大概就是太过逼真和完美,也就让我们丧失了那种多次尝试后找到最佳结果的快感。
(昨天试了多次终于用文心一言画出完美林黛玉的小编表示,非常赞同)
这就是老虎机效应(near-miss)——就差那么一点儿,才是让我们继续玩下去的动力。
测试地址:
此处内容需要权限查看