明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

現(xiàn)在用AI畫畫，完整草圖都不需要了。

每一筆落下，AI都會(huì)實(shí)時(shí)交上“新作業(yè)”

細(xì)節(jié)、顏色、畫布空白，它都自動(dòng)補(bǔ)全。

還能通過提示詞來控制生成圖像的內(nèi)容和風(fēng)格。

比如加一句“一個(gè)穿長外套的男人站在海邊“，AI立馬調(diào)整了作畫方向：

最后成稿的作品如下，效果很奈斯。

怪不得網(wǎng)友表示，自己驚掉的下巴已經(jīng)找不到了。

這就是最新火起來的AI實(shí)時(shí)作畫項(xiàng)目，Reddit上的熱度有1.8萬。

有人還表示，這回似乎說明了，相較于取代人類，AI可能更大程度上會(huì)幫助人類藝術(shù)家創(chuàng)作。

一個(gè)腳本搞定

如上效果是靠一個(gè)Python腳本實(shí)現(xiàn)。

通過構(gòu)建一個(gè)畫布和一個(gè)圖像生成框，然后把每次落筆后的草圖發(fā)送給Automatic 1111的API接口，這樣就能基于Stable Diffusion和ControlNet的能力作畫了。

其中，Automatic 1111是一個(gè)基于Stable Diffusion的可便攜部署的離線框架，封裝了UI和一些功能，能通過可視化界面使用Stable Diffusion。

此外生成圖像方面還使用了ControlNet的scribble模細(xì)化效果。

作者提醒說，想要讓這個(gè)腳本能正常運(yùn)行，一定要確保能調(diào)用Automatic 1111 webui的API，并且已經(jīng)安裝激活了ControlNet擴(kuò)展。

可以通過修改payload.json文件來獲取不同的prompt、seed和ControlNet模型。

在實(shí)時(shí)生成的速度上，作者表示現(xiàn)在看到的demo是他加速4倍后的結(jié)果，具體情況如何，恐怕還要看大家的顯卡水平了。

所以不少網(wǎng)友看后的反應(yīng)是：

實(shí)時(shí)？我的顯卡說，你在做夢。

1080要再次哭暈了……

也大佬推算了各個(gè)型號(hào)顯卡可能帶來的效果：

我上次使用Automatic1111時(shí)，用3080能實(shí)現(xiàn)每秒12次迭代；對(duì)于預(yù)覽圖片來說，或許不需要這么多迭代。
所以如果用3080的話，大概可以每1-2秒得到一張圖片預(yù)覽（3060可能是3-4秒）；如果用4080、4090，不到1秒就能出一張預(yù)覽。

盡管硬件上還是有制約的……但這還是沒影響大家的腦洞。

有人表示，這或許是未來很多藝術(shù)家搞創(chuàng)作的方式了。

還有人說，未來已來了。

你覺得呢？

GitHub地址：
https://github.com/houseofsecrets/SdPaint

參考鏈接：
[1]https://twitter.com/thekitze/status/18627002822254593?s=20
[2]https://.reddit.com/r/StableDiffusion/comments/12pcbne/i_mad_a_python_script_the_lets_you_scribble_with/