近日,Stability AI公司宣布推出Stable Diffusion Reimagine(以下简称SD-R)。这个工具的初级版本被集成在Clipdrop工具包中,用户无需撰写复杂的文字提示,只要上传一张图,SD-R就可以受其启发进行无限重构,想要多少张相似的图,它都可以快速生成;而且不仅仅是简单的模仿出图,而是多角度、多元素的二次“创作”。
关键词:无需文本、快速生图。
这已经不是简简单单的模仿创作了。事实上,SD-R有一个技术性的突破,它将原本AI工具中常见的文本编码器,替换为了图像编码器,图像会被完全解构再重构,这种算法可以产生外观相似、但具有不同细节及构图的图像。
我尝试将一张MJ-v5生成的男孩图导入SD-R测试器:
SD-R测试器每次可产出3张新图。1秒钟后,它帮我生成了下面这些新图:
目前Clipdrop上的SD-R测试器,当我导入一些相对细节较多的场景图、或光照条件稍微复杂的环境图时,出图效果并不十分出彩。官方也称:“该技术在某些图像中效果惊人,但在一些图像中的效果并不十分令人印象深刻。”
Stability AI官网还给出了一些既定场景出图演示。比如这张卧室效果图:
SD-R生图效果:
再比如下面这样的风景图:
SD-R生图效果:
StabilityAl官方倡议用户为其提供使用反馈,来帮助修正功能偏差和出图效果。
另外,SD-R还能将一张图像,换以不同的角度和细节进行多次出图,整个过程也就是用户点一下鼠标,等几秒钟的事儿。
这是原图:
这是SD-R生成的不同角度的空间图:
与此同时,用户还可以结合Clipdrop工具包中的Image upscaler图像放大、Background Removal背景去除、Cleanup Pictures清理图像、Relight调节光照等功能,快速得到自己想要的效果。
左图500px;右图1000px
用到了Clipdrop中的Image upscaler功能
据悉,完整的Stable Diffusion Reimagine模型,将很快在StabilityAl的GitHub上开源。在此之前,你可以像我一样登录Clipdrop,免费体验一把不限想象力的图生图的乐趣。
体验网址:
此处内容需要权限查看