本篇文章942字,讀完約2分鐘
keobong dahomnay【科技在線】ibm的幾位研究者近日發(fā)表了論文。 論文闡述了所謂的電阻解決方案單元( resistive processing unit,rpu )的新芯片概念。 據(jù)悉,與之前流傳的cpu相比,該芯片將深度神經(jīng)互聯(lián)網(wǎng)的訓(xùn)練速度提高30000倍。
深神經(jīng)互聯(lián)網(wǎng)( dnn )是一種具有多個(gè)隱藏層的人工神經(jīng)互聯(lián)網(wǎng)。 這個(gè)神經(jīng)網(wǎng)絡(luò)可以不進(jìn)行監(jiān)視訓(xùn)練也可以不進(jìn)行監(jiān)視訓(xùn)練。 結(jié)果出來(lái)的就是可以自己學(xué)習(xí)的機(jī)器學(xué)習(xí)(或者說(shuō)人工智能),也就是所謂的深度學(xué)習(xí)。
前幾天,谷歌( alphabet ) deepmind在人機(jī)大戰(zhàn)中擊敗李世石的ai圍棋程序alphago使用了同樣的算法。 alpha go由一個(gè)搜索樹算法和數(shù)百萬(wàn)種神經(jīng)元連接而成的兩個(gè)多層深度神經(jīng)互聯(lián)網(wǎng)組成。 一個(gè)互聯(lián)網(wǎng)被稱為戰(zhàn)略互聯(lián)網(wǎng),用于計(jì)算走哪一步勝率高,另一個(gè)互聯(lián)網(wǎng)被稱為價(jià)值互聯(lián)網(wǎng),用于告訴alpha go如何讓白子和黑子都運(yùn)轉(zhuǎn)比較好
由于前景廣闊,許多機(jī)器學(xué)習(xí)研究者已經(jīng)聚焦于深度神經(jīng)互聯(lián)網(wǎng)。 但是,要達(dá)到一定程度的智能,這些互聯(lián)網(wǎng)需要非常多的計(jì)算芯片,例如alpha go采用的計(jì)算芯片數(shù)量達(dá)到了數(shù)千個(gè)。 所以,這是消耗計(jì)算資源,燒錢的任務(wù)。 但是,現(xiàn)在ibm的研究者提出了強(qiáng)大的計(jì)算能力可以與以前流傳的數(shù)千個(gè)芯片匹敵的新芯片概念。 這個(gè)芯片組合千萬(wàn)個(gè)的話,未來(lái)ai的能力可能會(huì)越來(lái)越突破。
這個(gè)叫做rpu的芯片主要利用了深度學(xué)習(xí)等算法的兩個(gè)優(yōu)點(diǎn)。 局部性和并行性。 因此,rou利用新一代非易失性存儲(chǔ)器( nvm )技術(shù)的概念,在本地存儲(chǔ)算法中使用的權(quán)值,減小訓(xùn)練中的數(shù)據(jù)移動(dòng)。 研究人員表示,如果將這個(gè)rpu大規(guī)模應(yīng)用于10億以上權(quán)重的深度神經(jīng)互聯(lián)網(wǎng)上,訓(xùn)練速度會(huì)提高30000倍。 也就是說(shuō),平時(shí)訓(xùn)練數(shù)千臺(tái)機(jī)器需要幾天的結(jié)果用這個(gè)芯片只需要幾個(gè)小時(shí),而且能源效率也要低得多。
當(dāng)然,論文只是提出了概念,由于該芯片目前處于研究階段,普通非易失性存儲(chǔ)器尚未進(jìn)入主流市場(chǎng),預(yù)計(jì)這類芯片還需要幾年的時(shí)間才能上市。 但是,如果這個(gè)芯片確實(shí)具有那么大的計(jì)算和能效特征,谷歌、facebook等從事ai研究和應(yīng)用的巨頭一定會(huì)關(guān)注,ibm本身也是ai、大數(shù)據(jù)的積極參與者之一,東西都會(huì)被做出來(lái),
標(biāo)題:“IBM新概念芯片:AI訓(xùn)練速度提升30000倍”
地址:http://www.kungfu-fish.com//xwdt/40283.html