由加州大學(xué)圣地亞哥分校領(lǐng)導(dǎo)的團(tuán)隊(duì)開(kāi)發(fā)了一種神經(jīng)啟發(fā)的硬件 - 軟件協(xié)同設(shè)計(jì)方法，可以使神經(jīng)網(wǎng)絡(luò)培訓(xùn)更加節(jié)能和快速。他們的工作有朝一日可以在智能手機(jī)，筆記本電腦和嵌入式設(shè)備等低功耗設(shè)備上訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

最近在Nature Communications上發(fā)表的一篇論文中描述了這一進(jìn)展。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行識(shí)別物體，導(dǎo)航自動(dòng)駕駛汽車或玩游戲等任務(wù)會(huì)消耗大量的計(jì)算能力和時(shí)間。通常需要具有數(shù)百到數(shù)千個(gè)處理器的大型計(jì)算機(jī)來(lái)學(xué)習(xí)這些任務(wù)，并且培訓(xùn)時(shí)間可能需要數(shù)周到數(shù)月。

這是因?yàn)檫M(jìn)行這些計(jì)算涉及在兩個(gè)獨(dú)立單元(內(nèi)存和處理器)之間來(lái)回傳輸數(shù)據(jù)，這在神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間消耗了大部分能量和時(shí)間，資深作者Duygu Kuzum說(shuō)，他是電氣和計(jì)算機(jī)教授加州大學(xué)圣地亞哥分校Jacobs工程學(xué)院的工程學(xué)。

為了解決這個(gè)問(wèn)題，Kuzum和她的實(shí)驗(yàn)室與Adesto Technologies合作開(kāi)發(fā)硬件和算法，允許這些計(jì)算直接在內(nèi)存單元中執(zhí)行，從而無(wú)需重復(fù)洗牌數(shù)據(jù)。

“我們正在從兩端解決這個(gè)問(wèn)題 - 設(shè)備和算法 - 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間最大限度地提高能效，”第一作者Yuhan Shi說(shuō)，他是一名電氣工程博士。Kuzum在加州大學(xué)圣地亞哥分校的研究小組的學(xué)生。

硬件組件是一種超高能效類型的非易失性存儲(chǔ)器技術(shù) - 512千比特子量子導(dǎo)電橋接RAM(CBRAM)陣列。它比現(xiàn)有的領(lǐng)先內(nèi)存技術(shù)消耗的能量低10到100倍。該器件基于Adesto的CBRAM存儲(chǔ)器技術(shù) - 它主要用作只有'0'和'1'狀態(tài)的數(shù)字存儲(chǔ)設(shè)備，但Kuzum和她的實(shí)驗(yàn)室證明它可以編程為具有多個(gè)模擬狀態(tài)模仿人腦中的生物突觸。這種所謂的突觸裝置可用于進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的內(nèi)存計(jì)算。

“傳統(tǒng)處理器中的片上存儲(chǔ)器非常有限，因此它們沒(méi)有足夠的容量在同一芯片上執(zhí)行計(jì)算和存儲(chǔ)。但在這種方法中，我們有一個(gè)高容量存儲(chǔ)器陣列，可以進(jìn)行與神經(jīng)相關(guān)的計(jì)算內(nèi)存中的網(wǎng)絡(luò)培訓(xùn)，無(wú)需將數(shù)據(jù)傳輸?shù)酵獠刻幚砥?。這將在培訓(xùn)期間實(shí)現(xiàn)大量性能提升并降低能耗，“Kuzum說(shuō)。

Kuzum隸屬于加州大學(xué)圣地亞哥分校的機(jī)器集成計(jì)算與安全中心，負(fù)責(zé)開(kāi)發(fā)可輕松映射到此突觸設(shè)備陣列的算法。該算法在神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間提供了更多的能量和時(shí)間節(jié)省。

該方法使用一種稱為尖峰神經(jīng)網(wǎng)絡(luò)的節(jié)能神經(jīng)網(wǎng)絡(luò)，用于在硬件中實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí)。最重要的是，Kuzum的團(tuán)隊(duì)?wèi)?yīng)用了他們開(kāi)發(fā)的另一種稱為“軟修剪”的節(jié)能算法，這使得神經(jīng)網(wǎng)絡(luò)訓(xùn)練更加節(jié)能，而不會(huì)在準(zhǔn)確性方面犧牲太多。

節(jié)能算法

神經(jīng)網(wǎng)絡(luò)是一系列連接的人工神經(jīng)元層，其中一層的輸出為下一層提供輸入。這些層之間的連接強(qiáng)度由所謂的“權(quán)重”表示。訓(xùn)練神經(jīng)網(wǎng)絡(luò)處理更新這些權(quán)重。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)花費(fèi)大量精力來(lái)不斷更新這些權(quán)重中的每一個(gè)。但是在尖峰神經(jīng)網(wǎng)絡(luò)中，只有與尖峰神經(jīng)元相關(guān)的權(quán)重才會(huì)更新。這意味著更少的更新，這意味著更少的計(jì)算能力和時(shí)間。

網(wǎng)絡(luò)也做了所謂的無(wú)監(jiān)督學(xué)習(xí)，這意味著它本質(zhì)上可以訓(xùn)練自己。例如，如果網(wǎng)絡(luò)顯示一系列手寫(xiě)的數(shù)字，它將弄清楚如何區(qū)分零，一，二，等等。一個(gè)好處是網(wǎng)絡(luò)不需要在標(biāo)記的示例上進(jìn)行訓(xùn)練 - 這意味著它不需要被告知它看到零，一個(gè)或兩個(gè) - 這對(duì)于導(dǎo)航這樣的自主應(yīng)用很有用。

為了使訓(xùn)練更快，更節(jié)能，Kuzum的實(shí)驗(yàn)室開(kāi)發(fā)了一種新的算法，他們稱之為“軟修剪”，用無(wú)監(jiān)督的尖峰神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。軟修剪是一種方法，可以找到在訓(xùn)練期間已經(jīng)成熟的權(quán)重，然后將它們?cè)O(shè)置為常量非零值。這可以阻止他們?cè)谑Ｓ嗟挠?xùn)練中更新，從而最大限度地降低計(jì)算能力。

軟修剪與傳統(tǒng)的修剪方法不同，因?yàn)樗窃谟?xùn)練期間而不是之后實(shí)施的。當(dāng)神經(jīng)網(wǎng)絡(luò)將其訓(xùn)練用于測(cè)試時(shí)，它還可以導(dǎo)致更高的準(zhǔn)確度。通常在修剪中，完全去除冗余或不重要的重量。缺點(diǎn)是你修剪的權(quán)重越多，網(wǎng)絡(luò)在測(cè)試過(guò)程中執(zhí)行的準(zhǔn)確性就越低。但軟修剪只是將這些權(quán)重保持在低能量設(shè)置中，因此它們?nèi)匀豢梢詭椭W(wǎng)絡(luò)以更高的精度執(zhí)行。

硬件 - 軟件共同設(shè)計(jì)測(cè)試

該團(tuán)隊(duì)在子量子CBRAM突觸裝置陣列上實(shí)現(xiàn)了神經(jīng)啟發(fā)的無(wú)監(jiān)督尖峰神經(jīng)網(wǎng)絡(luò)和軟修剪算法。然后，他們訓(xùn)練網(wǎng)絡(luò)對(duì)MNIST數(shù)據(jù)庫(kù)中的手寫(xiě)數(shù)字進(jìn)行分類。

在測(cè)試中，即使高達(dá)75%的權(quán)重經(jīng)過(guò)軟修剪，網(wǎng)絡(luò)也能將數(shù)字精確到93%。相比之下，當(dāng)使用傳統(tǒng)的修剪方法僅修剪40%的重量時(shí)，網(wǎng)絡(luò)的準(zhǔn)確度低于90%。

在節(jié)能方面，該團(tuán)隊(duì)估計(jì)，與現(xiàn)有技術(shù)相比，他們的神經(jīng)啟發(fā)硬件 - 軟件協(xié)同設(shè)計(jì)方法最終可以將神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間的能耗降低兩到三個(gè)數(shù)量級(jí)。

“如果我們將新硬件與其他類似的內(nèi)存技術(shù)進(jìn)行對(duì)比，我們估計(jì)我們的設(shè)備可以將能耗降低10到100倍，那么我們的算法協(xié)同設(shè)計(jì)可以將其減少到10個(gè)?？傮w而言，我們可以期望獲得100個(gè)增益根據(jù)我們的方法，在能源消耗方面，千倍，“Kuzum說(shuō)。

展望未來(lái)，Kuzum和她的團(tuán)隊(duì)計(jì)劃與內(nèi)存技術(shù)公司合作，將這項(xiàng)工作推進(jìn)到下一階段。他們的最終目標(biāo)是開(kāi)發(fā)一個(gè)完整的系統(tǒng)，在該系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)可以在內(nèi)存中進(jìn)行訓(xùn)練，以便以非常低的功耗和時(shí)間預(yù)算完成更復(fù)雜的任務(wù)。