AI初創(chuàng)公司Mipsology正在與Xilinx合作，據(jù)說打算讓FPGA依靠一個(gè)附加命令取代AI加速器中的GPU。Mipsology的“zero effort”軟件Zebra可以轉(zhuǎn)換GPU代碼，使其能在FPGA上的Mipsology AI計(jì)算引擎中運(yùn)行，同時(shí)無需改寫任何代碼或進(jìn)行重新訓(xùn)練。
近日，Xilinx宣布，將向Zebra數(shù)據(jù)中心交付最新版本的Alveo U50卡。Zebra已經(jīng)支持在其他Xilinx板（包括Alveo U200和Alveo U250）上安裝加速接口。
Xilinx最新版本的Alveo U50數(shù)據(jù)中心加速卡，與Mipsology的Zebra軟件一樣，能轉(zhuǎn)換GPU AI代碼，同時(shí)在FPGA上運(yùn)行（圖片來源：Xilinx）
“Zebra加速Alveo卡的能力，讓CPU和GPU加速器望塵莫及。”Xilinx營銷副總裁Ramine Roane表示：“通過與Zebra的結(jié)合，Alveo U50能適應(yīng)靈活的AI工作量并且滿足其性能需求，讓任何工作部署達(dá)到高效率和低延遲的效果。”
即插即用
過去，對(duì)于非專業(yè)人士而言，F(xiàn)PGA編程的難度人盡皆知，但是Mipsology希望FPGA能像CPU或GPU一樣，即插即用。這樣做能讓從其他種類加速器轉(zhuǎn)換到FPGA的過程更簡單。
Mipsology首席執(zhí)行官Ludovic Larzul表示：“觀察（Mipsology）的最佳方法是，采用FPGA的軟件，來使它們透明化，就像Nvidia使用Cuda CuDNN來使GPU對(duì)AI用戶完全透明一樣。”
更重要的是，因?yàn)檫@一過程無需重新訓(xùn)練模型，所以非專業(yè)人士也能完成，他們無需具備完備的AI專業(yè)知識(shí)或FPGA技能。
“便捷很重要。因?yàn)楫?dāng)您查看其他人的AI項(xiàng)目時(shí)，他們通常無法訪問AI團(tuán)隊(duì)所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)。”Larzul表示：“一般情況下，如果有人要安裝一個(gè)機(jī)器人系統(tǒng)或一個(gè)視頻監(jiān)視系統(tǒng)……他們會(huì)邀請(qǐng)其他團(tuán)隊(duì)或其他第三方來開發(fā)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。一旦他們獲得了訓(xùn)練好的模型，他們便不會(huì)去改變它，因?yàn)槭撬麄儧]有專業(yè)知識(shí)做支撐。”
Zebra堆棧 該技術(shù)適用于數(shù)據(jù)中心、邊緣和嵌入式應(yīng)用程序（圖片來源：Mipsology）
Versus Xilinx
Xilinx為什么在已經(jīng)擁有自己的神經(jīng)網(wǎng)絡(luò)加速器引擎（XDNN）的情況下，還會(huì)支持第三方軟件？
Larzul說：“原因總結(jié)起來就兩句話，第一句是我們能做得更好；另一句話是我們的產(chǎn)品的確有用。”
Mipsology在Zebra中擁有屬于自己的計(jì)算引擎，該引擎支持客戶現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型。而它與XDNN不同。Larzul表示XDNN支持大量演示，但不太適合定制神經(jīng)網(wǎng)絡(luò)。他還表示，Mipsology讓定制網(wǎng)絡(luò)占了上風(fēng)，而讓XDNN的使用看起來很“艱難”。盡管在應(yīng)用程序中，XDNN不受GPU的影響，擁有一定的競爭力，但Zebra旨在通過性能、成本和便捷等優(yōu)勢，讓FPGA能夠抵擋住GPU的正面沖擊。
Zebra堆棧的具體細(xì)節(jié) 目的是通過盡可能隱藏硬件,讓FPGA成為AI加速器中GPU或CPU更便捷的替代品（圖片來源：Mipsology）
Larzul說，成本是大多數(shù)客戶放棄GPU方案的原因。
“他們希望降低硬件成本，但不想重新設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。”他說：“因?yàn)槲覀兡軌蛲该鞯靥鎿QGPU，所以這樣（避免了）一筆非經(jīng)常性的費(fèi)用，同時(shí)也無需重新訓(xùn)練或修改神經(jīng)網(wǎng)絡(luò)。”
Larzul表示：FPGA安全可靠，部分原因是因?yàn)樗鼈冊(cè)谛酒a(chǎn)業(yè)不具有攻擊性，而且通常比其他加速器（包括GPU在內(nèi)）的運(yùn)行溫度更低。這對(duì)于長期維護(hù)成本高的數(shù)據(jù)中心來說尤為重要。
“總成本不僅僅只包括電路板上的花銷。”Larzul說：“為確保系統(tǒng)正常運(yùn)行還需要另外支付一筆費(fèi)用。”
Larzul還表示，Zebra還致力于加強(qiáng)FPGA在性能競爭力。盡管FPGA通常比其他加速器提供的TOPS（每秒兆級(jí)的操作）更少，但Zebra精心設(shè)計(jì)的計(jì)算引擎讓TOPS的使用更高效。
Ludovic Larzul (圖片來源：Mipsology)
他說：“大多數(shù)ASIC初創(chuàng)企業(yè)在加速AI的過程中都忘記了一件事，就是他們其實(shí)是在做一塊很大的芯片，可以容納更多的TOPS。但是他們沒有考慮到如何在這塊芯片上高效地繪制網(wǎng)絡(luò)。”他還指出，與擁有6倍量TOPS的GPU相比，基于FPGA的Zebra引擎每秒能夠處理的圖像數(shù)量卻更多。
這些是如何實(shí)現(xiàn)的呢？盡管Larzul沒有透露具體細(xì)節(jié)，但他確實(shí)說過FPGA不依賴重新訓(xùn)練，原因是因?yàn)檫@樣做會(huì)大大降低精確度，從而使得芯片達(dá)不到要求。由于同樣的原因，他們也不使用極限分層（低于8位）。
Zebra引擎加快了CNN的速度，目前雖然大多數(shù)CNN都用于圖像和視頻處理應(yīng)用程序，但是Zebra也可以應(yīng)用到使用類似數(shù)學(xué)概念的BERT（Google自然語言處理模型）中。Zebra的更新?lián)Q代可能會(huì)涵蓋其他類型的神經(jīng)網(wǎng)絡(luò)，包括LSTM（長期短期記憶）和RNN（遞歸神經(jīng)網(wǎng)絡(luò)），但是從數(shù)學(xué)角度來看，因?yàn)镽NN更加多樣，所以這一設(shè)想很難實(shí)現(xiàn)。
來自EVE的團(tuán)隊(duì)
Mipsology成立于2015年，在法國有一個(gè)約30人的研發(fā)團(tuán)隊(duì)。同時(shí)它在加利福尼亞設(shè)有一個(gè)辦事處，主要負(fù)責(zé)業(yè)務(wù)發(fā)展。該公司已獲得總計(jì)700萬美元的資金，其中有200萬美元是2019年法國政府創(chuàng)新大賽所獲得的獎(jiǎng)金。
Mipsology的核心團(tuán)隊(duì)來自EVE，它是一家生產(chǎn)ASIC仿真器的公司。2012年該公司因其具備生產(chǎn)ZeBu（Zero Bug）硬件輔助驗(yàn)證產(chǎn)品的能力，被Synopsys收購，當(dāng)時(shí)該公司是Cadence鈀金驗(yàn)證平臺(tái)的競爭對(duì)手。Larzul認(rèn)為，EVE技術(shù)受到幾乎所有主流ASIC公司的青睞，它在設(shè)計(jì)周期內(nèi)能驗(yàn)證ASIC。該技術(shù)依賴于數(shù)千個(gè)連接在一起的FPGA，來重現(xiàn)ASIC行為。
Mipsology 正在申請(qǐng)12項(xiàng)專利，并且達(dá)成了與Xilinx的緊密合作。同時(shí)能與第三方加速器卡兼容，這些第三方加速器卡包括Western Digital小型（SFF U.2）卡和Vega-4001等。
聯(lián)系：highspeedlogic
QQ ：1224848052
微信：HuangL1121
郵箱：1224848052@qq.com
網(wǎng)站：http://www.mat7lab.com/
網(wǎng)站：http://www.hslogic.com/
微信掃一掃：
