AI初創(chuàng)公司Mipsology正在與Xilinx合作，據(jù)說打算讓FPGA依靠一個附加命令取代AI加速器中的GPU。Mipsology的“zero effort”軟件Zebra可以轉(zhuǎn)換GPU代碼，使其能在FPGA上的Mipsology AI計算引擎中運(yùn)行，同時無需改寫任何代碼或進(jìn)行重新訓(xùn)練。

近日，Xilinx宣布，將向Zebra數(shù)據(jù)中心交付最新版本的Alveo U50卡。Zebra已經(jīng)支持在其他Xilinx板（包括Alveo U200和Alveo U250）上安裝加速接口。

Xilinx最新版本的Alveo U50數(shù)據(jù)中心加速卡，與Mipsology的Zebra軟件一樣，能轉(zhuǎn)換GPU AI代碼，同時在FPGA上運(yùn)行（圖片來源：Xilinx）

“Zebra加速Alveo卡的能力，讓CPU和GPU加速器望塵莫及。”Xilinx營銷副總裁Ramine Roane表示：“通過與Zebra的結(jié)合，Alveo U50能適應(yīng)靈活的AI工作量并且滿足其性能需求，讓任何工作部署達(dá)到高效率和低延遲的效果。”

即插即用

過去，對于非專業(yè)人士而言，F(xiàn)PGA編程的難度人盡皆知，但是Mipsology希望FPGA能像CPU或GPU一樣，即插即用。這樣做能讓從其他種類加速器轉(zhuǎn)換到FPGA的過程更簡單。

Mipsology首席執(zhí)行官Ludovic Larzul表示：“觀察（Mipsology）的最佳方法是，采用FPGA的軟件，來使它們透明化，就像Nvidia使用Cuda CuDNN來使GPU對AI用戶完全透明一樣。”

更重要的是，因為這一過程無需重新訓(xùn)練模型，所以非專業(yè)人士也能完成，他們無需具備完備的AI專業(yè)知識或FPGA技能。

“便捷很重要。因為當(dāng)您查看其他人的AI項目時，他們通常無法訪問AI團(tuán)隊所設(shè)計的神經(jīng)網(wǎng)絡(luò)。”Larzul表示：“一般情況下，如果有人要安裝一個機(jī)器人系統(tǒng)或一個視頻監(jiān)視系統(tǒng)……他們會邀請其他團(tuán)隊或其他第三方來開發(fā)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。一旦他們獲得了訓(xùn)練好的模型，他們便不會去改變它，因為是他們沒有專業(yè)知識做支撐。”

Zebra堆棧 該技術(shù)適用于數(shù)據(jù)中心、邊緣和嵌入式應(yīng)用程序（圖片來源：Mipsology）

Versus Xilinx

Xilinx為什么在已經(jīng)擁有自己的神經(jīng)網(wǎng)絡(luò)加速器引擎（XDNN）的情況下，還會支持第三方軟件？

Larzul說：“原因總結(jié)起來就兩句話，第一句是我們能做得更好；另一句話是我們的產(chǎn)品的確有用。”

Mipsology在Zebra中擁有屬于自己的計算引擎，該引擎支持客戶現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型。而它與XDNN不同。Larzul表示XDNN支持大量演示，但不太適合定制神經(jīng)網(wǎng)絡(luò)。他還表示，Mipsology讓定制網(wǎng)絡(luò)占了上風(fēng)，而讓XDNN的使用看起來很“艱難”。盡管在應(yīng)用程序中，XDNN不受GPU的影響，擁有一定的競爭力，但Zebra旨在通過性能、成本和便捷等優(yōu)勢，讓FPGA能夠抵擋住GPU的正面沖擊。

Zebra堆棧的具體細(xì)節(jié) 目的是通過盡可能隱藏硬件,讓FPGA成為AI加速器中GPU或CPU更便捷的替代品（圖片來源：Mipsology）

Larzul說，成本是大多數(shù)客戶放棄GPU方案的原因。

“他們希望降低硬件成本，但不想重新設(shè)計神經(jīng)網(wǎng)絡(luò)。”他說：“因為我們能夠透明地替換GPU，所以這樣（避免了）一筆非經(jīng)常性的費(fèi)用，同時也無需重新訓(xùn)練或修改神經(jīng)網(wǎng)絡(luò)。”

Larzul表示：FPGA安全可靠，部分原因是因為它們在芯片產(chǎn)業(yè)不具有攻擊性，而且通常比其他加速器（包括GPU在內(nèi)）的運(yùn)行溫度更低。這對于長期維護(hù)成本高的數(shù)據(jù)中心來說尤為重要。

“總成本不僅僅只包括電路板上的花銷。”Larzul說：“為確保系統(tǒng)正常運(yùn)行還需要另外支付一筆費(fèi)用。”

Larzul還表示，Zebra還致力于加強(qiáng)FPGA在性能競爭力。盡管FPGA通常比其他加速器提供的TOPS（每秒兆級的操作）更少，但Zebra精心設(shè)計的計算引擎讓TOPS的使用更高效。

Ludovic Larzul (圖片來源：Mipsology)

他說：“大多數(shù)ASIC初創(chuàng)企業(yè)在加速AI的過程中都忘記了一件事，就是他們其實是在做一塊很大的芯片，可以容納更多的TOPS。但是他們沒有考慮到如何在這塊芯片上高效地繪制網(wǎng)絡(luò)。”他還指出，與擁有6倍量TOPS的GPU相比，基于FPGA的Zebra引擎每秒能夠處理的圖像數(shù)量卻更多。

這些是如何實現(xiàn)的呢？盡管Larzul沒有透露具體細(xì)節(jié)，但他確實說過FPGA不依賴重新訓(xùn)練，原因是因為這樣做會大大降低精確度，從而使得芯片達(dá)不到要求。由于同樣的原因，他們也不使用極限分層（低于8位）。

Zebra引擎加快了CNN的速度，目前雖然大多數(shù)CNN都用于圖像和視頻處理應(yīng)用程序，但是Zebra也可以應(yīng)用到使用類似數(shù)學(xué)概念的BERT（Google自然語言處理模型）中。Zebra的更新?lián)Q代可能會涵蓋其他類型的神經(jīng)網(wǎng)絡(luò)，包括LSTM（長期短期記憶）和RNN（遞歸神經(jīng)網(wǎng)絡(luò)），但是從數(shù)學(xué)角度來看，因為RNN更加多樣，所以這一設(shè)想很難實現(xiàn)。

來自EVE的團(tuán)隊

Mipsology成立于2015年，在法國有一個約30人的研發(fā)團(tuán)隊。同時它在加利福尼亞設(shè)有一個辦事處，主要負(fù)責(zé)業(yè)務(wù)發(fā)展。該公司已獲得總計700萬美元的資金，其中有200萬美元是2019年法國政府創(chuàng)新大賽所獲得的獎金。

Mipsology的核心團(tuán)隊來自EVE，它是一家生產(chǎn)ASIC仿真器的公司。2012年該公司因其具備生產(chǎn)ZeBu（Zero Bug）硬件輔助驗證產(chǎn)品的能力，被Synopsys收購，當(dāng)時該公司是Cadence鈀金驗證平臺的競爭對手。Larzul認(rèn)為，EVE技術(shù)受到幾乎所有主流ASIC公司的青睞，它在設(shè)計周期內(nèi)能驗證ASIC。該技術(shù)依賴于數(shù)千個連接在一起的FPGA，來重現(xiàn)ASIC行為。

Mipsology 正在申請12項專利，并且達(dá)成了與Xilinx的緊密合作。同時能與第三方加速器卡兼容，這些第三方加速器卡包括Western Digital小型（SFF U.2）卡和Vega-4001等。

聯(lián)系：highspeedlogic

QQ ：1224848052

微信：HuangL1121

郵箱：1224848052@qq.com

網(wǎng)站：http://www.mat7lab.com/

網(wǎng)站：http://www.hslogic.com/

微信掃一掃：