蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

純靠手機跑Stable Diffusion，出一張圖需要多長時間？

答案是15秒以內(nèi)。還是開飛行模式那種，完全不需要借助云服務(wù)器的算力！

不僅能生成動畫版鎧甲貓貓戰(zhàn)士，真人版《龍珠》cosplay大合照，也能迅速想象出來：

△圖源油管@TK Bay

當(dāng)然，畫個中國風(fēng)兔型剪紙圖像，也完全沒問題：

△圖源油管@TK Bay

此前，雖然已經(jīng)有網(wǎng)友做出了一些能在手機上運行的Stable Diffusion項目，不過實際運行會發(fā)現(xiàn)，這些項目要么生成圖片的時間長、內(nèi)存占用高、耗電量大，要么生成的圖像風(fēng)格比較單一。

15秒內(nèi)依靠手機算力出圖，風(fēng)格還是多變的那種，究竟是怎么做到的？

手機15秒跑億級大模型

這個手機版15秒跑Stable Diffusion項目，是高通基于自己的手機芯片做的一個“演示”APP。

在前不久的MWC 2023上，高通現(xiàn)場展示了這個APP的生成效果，有不少線下參會的網(wǎng)友也體驗了一波，例如嘗試用它生成一群寶可夢：

△圖源油管@NewGadgets.de

迭代步數(shù)達到了20步，可以生成分辨率512×512的圖像。

據(jù)高通介紹，之所以相比其他項目，這個版本的Stable Diffusion能在手機上快速運行，是因為團隊專門基于移動端AI軟硬件技術(shù)，對開源模型進行了優(yōu)化。

其中，Stable Diffusion模型選用的是在Hugging Face上開源的FP32 version1-5版本。

為了達到15秒“快速出圖”的效果，研究人員從硬件、框架和AI壓縮算法上入手，在確保出圖效果的同時，對模型大小和端側(cè)運行進行適配優(yōu)化：

• 硬件：第二代驍龍8移動平臺
• 框架：高通AI引擎Direct
• AI模型壓縮工具：AI模型增效工具包AIMET

首先，基于高通AI模型增效工具包AIMET，對訓(xùn)練后的Stable Diffusion模型進行量化。AIMET中包括一些高通之前的量化研究算法如AdaRound等，能將模型精度從FP32壓縮到INT8，降低功耗的同時確保模型運行效果；

接下來，團隊基于高通的AI引擎Direct框架，對這一模型進行軟硬件協(xié)同優(yōu)化，讓它能更好地運行在AI計算專用的Hexagon處理器上，提升性能的同時最小化內(nèi)存溢出；

最后，高通也采用了最新發(fā)布的第二代驍龍8移動平臺，支持一項名叫微切片推理（Micro Inferencing）的技術(shù)，能通過在時間軸上對網(wǎng)絡(luò)層進行切分，從而讓處理器始終處于高效運轉(zhuǎn)狀態(tài)，提升效率。

不止是Stable Diffusion，其他生成式AI算法同樣如此。

高通還展示了相比其他GPU和CPU，Hexagon處理器在移動端跑人臉生成算法的效率：

至于搭載Hexagon處理器的第二代驍龍8移動平臺，跑超分辨率（RDN）、背景虛化（DeeplabV3+）、人臉識別（FaceNet）和自然語言處理（MobileBERT）等算法上，性能同樣高出同行3~4倍：

而這也正是高通一直強調(diào)的“端側(cè)AI算力”性能。

據(jù)高通介紹，在這波生成式AI浪潮下，相比單純借助云端算力處理AI模型，端側(cè)的計算能力也同樣能被加以利用。

端側(cè)算力加速生成式AI落地

隨著這波大模型爆火，云端計算已經(jīng)成為不少人受關(guān)注的技術(shù)。

然而，作為AI技術(shù)最直接的落地領(lǐng)域之一，同樣能提供算力的移動端，是否同樣會對這波生成式AI浪潮造成影響？

對此，高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責(zé)人Ziad Asghar分享了他的看法。

Ziad Asghar認為，讓大模型這類生成式AI純粹在云端運行，存在幾個問題。

一方面，像網(wǎng)絡(luò)搜索這樣的算法，生成式AI的查詢效果雖然比傳統(tǒng)方法更好，但單次查詢成本也會更高。

隨著用戶數(shù)量的不斷增加，僅僅依靠云端算力，可能無法支持越來越多的生成式AI應(yīng)用同時運行：

另一方面，雖然云端計算能力更大，但不少AI模型應(yīng)用到端側(cè)時，在推理時還會面對處理用戶數(shù)據(jù)等涉及隱私安全方面的問題。

就拿個人搜索來說，要想使用AI算法更智能地搜索手機上的數(shù)據(jù)、同時又不上傳到云端處理，那么模型最終就得部署到端側(cè)，而非將用戶數(shù)據(jù)“聯(lián)網(wǎng)”上傳。

因此，要想讓生成式AI規(guī)?；涞兀苿佣艘惨獜挠嬎惴绞胶蛻?yīng)用途徑上作出對應(yīng)的準(zhǔn)備。

而這也是高通提出混合AI概念的原因，將一些AI模型放到終端側(cè)進行處理。

Ziad Asghar還表示，隨著移動端AI處理能力的不斷提升，未來幾個月內(nèi)，我們就能看到100億參數(shù)的大模型在移動端運行：

到那個時候，或許手機上的AI助手就真能做到“專人定制”了。

參考鏈接：
[1]https://mp.weixin.qq.com/s/Llqc6Elz1xY1ukN77EJFxw
[2]https://.youtube.com/shorts/Dd8bfblL9H0
[3]https://.youtube.com/watch?v=-pnHnlgcPfM
[4]https://.youtube.com/watch?v=VJ_MBN2DavM
[5]https://mp.weixin.qq.com/s/J1RFNa0F1wpOvgqUxKc51w

— 完 —