Naveen Verma 在普林斯頓大學(xué)的實驗室就像一個博物館，展示了工程師們試圖通過使用模擬現(xiàn)象而不是數(shù)字計算來提高 AI 超高效的所有方法。一個工作臺上是有史以來最節(jié)能的基于磁記憶的神經(jīng)網(wǎng)絡(luò)計算機。在另一個位置，您會發(fā)現(xiàn)一個基于電阻存儲器的芯片，它可以計算迄今為止任何模擬 AI 系統(tǒng)中最大的數(shù)字矩陣。

Verma 表示，兩者都沒有商業(yè)前景。不那么仁慈的是，他實驗室的這一部分是一個墓地。

多年來，Analog AI 一直吸引著芯片架構(gòu)師的想象力。它結(jié)合了兩個關(guān)鍵概念，這兩個概念應(yīng)該會大大降低機器學(xué)習(xí)的能源密集度。首先，它限制了存儲芯片和處理器之間昂貴的位移動。其次，它不是邏輯的 1 和 0，而是使用電流的物理學(xué)來有效地進行機器學(xué)習(xí)的關(guān)鍵計算。

盡管這個想法很有吸引力，但各種模擬 AI 方案并沒有以一種可以真正消除 AI 令人震驚的能源胃口的方式實現(xiàn)。維爾瑪會知道的。他都試過了。

但是，當(dāng) IEEE Spectrum 一年前訪問時，Verma 實驗室后面有一個芯片，它代表了模擬 AI 和使 AI 有用和無處不在所需的節(jié)能計算的一些希望。芯片不是用電流計算，而是對電荷求和。這似乎是一個無關(guān)緊要的差異，但它可能是克服阻礙所有其他模擬 AI 方案的噪聲的關(guān)鍵。

本周，Verma 的初創(chuàng)公司 EnCharge AI 推出了第一款基于這種新架構(gòu)的芯片 EN100。這家初創(chuàng)公司聲稱，該芯片可以處理各種 AI 工作，每瓦性能比競爭對手的芯片高 20 倍。它被設(shè)計到單個處理器卡中，以 8.25 瓦的功率每秒增加 200 萬億次作，旨在延長支持 AI 的筆記本電腦的電池壽命。最重要的是，一個 4 芯片、每秒 1000 萬億次作的卡面向 AI 工作站。

當(dāng)前和巧合

在機器學(xué)習(xí)中，“事實證明，憑著愚蠢的運氣，我們所做的主要作是矩陣乘法，”Verma 說。這基本上是取一個數(shù)字?jǐn)?shù)組，將其乘以另一個數(shù)組，然后將所有這些乘法的結(jié)果相加。很早，工程師們就注意到了一個巧合：電氣工程的兩條基本規(guī)則可以準(zhǔn)確地完成這一作。歐姆定律說，您可以通過乘以電壓和電導(dǎo)來獲得電流?；鶢柣舴螂娏鞫烧f，如果有一堆電流從一堆電線進入一個點，那么這些電流的總和就是離開該點的。所以基本上，一堆輸入電壓中的每一個都推動電流通過一個電阻（電導(dǎo)是電阻的倒數(shù)），乘以電壓值，所有這些電流加起來產(chǎn)生一個值。數(shù)學(xué)，完成。

聽起來不錯？嗯，它會變得更好。構(gòu)成神經(jīng)網(wǎng)絡(luò)的大部分?jǐn)?shù)據(jù)都是 “權(quán)重”，即輸入乘以的數(shù)據(jù)。將這些數(shù)據(jù)從內(nèi)存移動到處理器的邏輯中來完成這項工作，這占了 GPU 消耗的很大一部分能量。相反，在大多數(shù)模擬 AI 方案中，權(quán)重作為電導(dǎo)值（上面的電阻）存儲在幾種類型的非易失性存儲器之一中。因為重量數(shù)據(jù)已經(jīng)在需要執(zhí)行計算的位置，所以它不必移動那么多，從而節(jié)省了大量能源。

自由數(shù)學(xué)和穩(wěn)態(tài)數(shù)據(jù)的結(jié)合有望實現(xiàn)只需要萬億分之一焦耳能量的計算。不幸的是，這并不是模擬 AI 工作所帶來的好處。

電流的麻煩

任何類型的模擬計算的根本問題始終是信噪比。Analog AI 一卡車都有。信號（在本例中為所有這些乘法的總和）往往會被許多可能的噪聲源所淹沒。

“問題是，半導(dǎo)體器件是雜亂無章的東西，”Verma 說。假設(shè)你有一個模擬神經(jīng)網(wǎng)絡(luò)，其中權(quán)重作為電導(dǎo)存儲在單個 RRAM 單元中。通過在 RRAM 單元上設(shè)置相對較高的電壓來存儲此類權(quán)重值，并持續(xù)一段規(guī)定的時間。問題是，您可以在相同的時間內(nèi)在兩個電池上設(shè)置完全相同的電壓，而這兩個電池最終的電導(dǎo)值會略有不同。更糟糕的是，這些電導(dǎo)值可能會隨溫度而變化。

差異可能很小，但請記住，該運算會加很多乘法，因此噪聲會被放大。更糟糕的是，產(chǎn)生的電流隨后會轉(zhuǎn)化為電壓，作為下一層神經(jīng)網(wǎng)絡(luò)的輸入，這一步驟會進一步增加噪聲。

研究人員從計算機科學(xué)和設(shè)備物理學(xué)的角度解決了這個問題。為了補償噪聲，研究人員發(fā)明了將設(shè)備物理弱點的一些知識融入到他們的神經(jīng)網(wǎng)絡(luò)模型中的方法。其他公司則專注于制造行為盡可能可預(yù)測的設(shè)備。IBM 在這一領(lǐng)域進行了廣泛的研究，兩者兼而有之。

此類技術(shù)在較小規(guī)模的系統(tǒng)中即使尚未在商業(yè)上取得成功，也具有競爭力，這些芯片旨在為 IoT 網(wǎng)絡(luò)邊緣的設(shè)備提供低功耗機器學(xué)習(xí)。早期進入者 Mythic AI 已經(jīng)生產(chǎn)了不止一代的模擬 AI 芯片，但它正在低功耗數(shù)字芯片取得成功的領(lǐng)域競爭。

用于 PC 的 EN100 卡是一種新的模擬 AI 芯片架構(gòu)。EnCharge 人工智能

電容器一路向下

EnCharge 的解決方案通過測量電荷量而不是機器學(xué)習(xí)乘法累加法中的電荷流來消除噪聲。在傳統(tǒng)的模擬 AI 中，乘法取決于電壓、電導(dǎo)和電流之間的關(guān)系。在這個新方案中，它取決于電壓、電容和電荷之間的關(guān)系，其中基本上，電荷等于電容乘以電壓。

為什么這種差異很重要？這歸結(jié)為執(zhí)行乘法運算的組件。EnCharge 沒有使用像 RRAM 這樣挑剔、易受攻擊的設(shè)備，而是使用電容器。

電容器基本上是夾在絕緣體中的兩個導(dǎo)體。導(dǎo)體之間的電壓差會導(dǎo)致電荷在其中一個導(dǎo)體上積聚。對于機器學(xué)習(xí)而言，它們的關(guān)鍵是它們的值（電容）由它們的大小決定。（更大的導(dǎo)體面積或?qū)w之間的空間更小意味著更大的電容。

“他們唯一依賴的是幾何形狀，基本上是電線之間的空間，”Verma 說?！斑@是 CMOS 技術(shù)中可以非常非常好地控制的一件事。”EnCharge 在其處理器硅片上方的銅互連層中構(gòu)建了一系列精確計算的電容器。

構(gòu)成神經(jīng)網(wǎng)絡(luò)模型大部分的數(shù)據(jù)（權(quán)重）存儲在數(shù)字存儲單元陣列中，每個存儲單元都連接到一個電容器。然后使用單元內(nèi)置的簡單邏輯將神經(jīng)網(wǎng)絡(luò)正在分析的數(shù)據(jù)乘以權(quán)重位，結(jié)果以電荷的形式存儲在電容器上。然后數(shù)組切換到一種模式，其中乘法結(jié)果的所有電荷都累積起來，結(jié)果被數(shù)字化。

雖然最初的發(fā)明可以追溯到 2017 年，對 Verma 的實驗室來說是一個重要的時刻，但他表示，基本概念已經(jīng)相當(dāng)古老了。“這被稱為開關(guān)電容器作;事實證明，我們已經(jīng)這樣做了幾十年，“他說。例如，它用于商用高精度模數(shù)轉(zhuǎn)換器。“我們的創(chuàng)新是弄清楚如何在執(zhí)行內(nèi)存計算的架構(gòu)中使用它?！?/p>

競爭

Verma 的實驗室和 EnCharge 花了數(shù)年時間證明該技術(shù)是可編程和可擴展的，并將其與適合 AI 需求的架構(gòu)和軟件堆棧進行協(xié)同優(yōu)化，這與 2017 年大不相同。由此產(chǎn)生的產(chǎn)品現(xiàn)在由早期訪問開發(fā)人員提供，該公司（最近從 Samsung Venture、Foxconn 和其他公司籌集了 1 億美元）計劃進行另一輪早期訪問合作。

但 EnCharge 正在進入一個競爭激烈的領(lǐng)域，競爭對手中就有大 kahuna，Nvidia。 在 3 月份的大型開發(fā)者活動 GTC 上，Nvidia 宣布計劃圍繞其 GB10 CPU-GPU 組合構(gòu)建 PC 產(chǎn)品，并圍繞即將推出的 GB300 構(gòu)建工作站。

在 EnCharge 所追求的低功耗領(lǐng)域?qū)⒋嬖诖罅扛偁帯Ｆ渲幸恍┥踔潦褂媚撤N形式的內(nèi)存計算。例如，D-Matrix 和 Axelera 繼承了模擬 AI 的承諾，將內(nèi)存嵌入到計算中，但以數(shù)字方式完成所有工作。他們各自開發(fā)了定制的 SRAM 存儲單元，這些單元既可以存儲和乘法，也可以以數(shù)字方式進行求和運算。甚至至少還有一家更傳統(tǒng)的模擬 AI 初創(chuàng)公司 Sagence。

不出所料，維爾馬很樂觀。他在一份聲明中說，這項新技術(shù)“意味著先進、安全和個性化的人工智能可以在本地運行，而無需依賴云基礎(chǔ)設(shè)施”。“我們希望這將從根本上擴展您可以使用 AI 的功能?！?/p>

EnCharge AI 的工作站和邊緣計算機主板集成了四個 EN100 芯片。

 原始圖片：EnCharge AI