高性能計(jì)算 （HPC） 內(nèi)存墻通常是指處理器速度和內(nèi)存帶寬之間不斷擴(kuò)大的差距。當(dāng)處理器性能超過內(nèi)存訪問速度時(shí)，這會(huì)在整體系統(tǒng)性能中造成瓶頸，尤其是在人工智能 （AI） 等內(nèi)存密集型應(yīng)用程序中。

本文首先探討了內(nèi)存墻的傳統(tǒng)定義，然后著眼于另一種觀點(diǎn)，該視圖將內(nèi)存容量與 AI 模型中參數(shù)數(shù)量的增長(zhǎng)進(jìn)行比較。無論從哪個(gè)定義來看，記憶墻已經(jīng)到來，這是一個(gè)嚴(yán)重的問題。它以一些翻越墻壁或至少降低墻壁高度的技術(shù)結(jié)束。

當(dāng)然，HPC 的定義正在不斷發(fā)展。幾年前被認(rèn)為是 HPC 的東西不再符合最新的定義。根據(jù)處理器在峰值每秒浮點(diǎn)運(yùn)算數(shù) （FLOP） 與內(nèi)存帶寬方面的性能比較，這個(gè)問題已經(jīng)存在了 25 年多（圖 1）。雖然內(nèi)存性能顯著提高，但訪問和傳輸數(shù)據(jù)的能力并沒有跟上數(shù)據(jù)處理者的能力。

圖 1.HPC 內(nèi)存墻是處理器性能和內(nèi)存帶寬之間的差距。（圖片：Astera Labs）)

由于內(nèi)存壁，處理器在等待內(nèi)存上花費(fèi)的時(shí)間越來越多。這意味著無法使用昂貴的高性能處理器的某些功能。在涉及大型數(shù)據(jù)庫和復(fù)雜計(jì)算的 HPC 應(yīng)用程序中，這可能是一個(gè)嚴(yán)重的問題。

AI 視角

HPC 是 AI 的重要工具，尤其是用于訓(xùn)練 AI 模型。當(dāng) AI 在 2015 年左右出現(xiàn)時(shí)，典型模型中的參數(shù)數(shù)量相對(duì)較少。它不需要最高的 HPC 性能，因此其他應(yīng)用程序遇到的內(nèi)存墻不是問題。

這種情況在 2019 年左右發(fā)生了變化，因?yàn)?AI 模型復(fù)雜性的快速增加超過了處理器性能的提高（圖 2）。在隨后的幾年里，AI 應(yīng)用的內(nèi)存墻高度持續(xù)增長(zhǎng)，并可能成為 AI 性能進(jìn)一步進(jìn)步的限制因素。AI 的重要性日益增加，這增加了處理 HPC 內(nèi)存墻的緊迫性。

圖 2.HPC 內(nèi)存墻也可以從 AI 模型日益復(fù)雜的角度來看待。（圖片：Ayar Labs）)

降低墻體高度

如上圖 1 所示，多代圖形雙倍數(shù)據(jù)速率 （GDDR） 和高帶寬內(nèi)存 （HBM） 技術(shù)只是減緩了內(nèi)存墻的增長(zhǎng)速度，但并沒有解決問題。

還使用了幾種內(nèi)存管理方法，包括多級(jí)分層緩存，其中常用數(shù)據(jù)存儲(chǔ)在更靠近處理器的位置，以及預(yù)取指令，通過減少訪問主內(nèi)存的需求來提高性能。

最大化內(nèi)存使用的優(yōu)化算法也有助于減輕內(nèi)存墻的影響。構(gòu)建數(shù)據(jù)以更有效地使用可以最大限度地減少緩存未命中并提高性能。 

最近的發(fā)展不是原始內(nèi)存性能的改進(jìn)，而是專注于新的計(jì)算和內(nèi)存架構(gòu)來擴(kuò)展墻。

新架構(gòu)方法的示例包括內(nèi)存計(jì)算 （CIM），也稱為內(nèi)存處理 （PIM） 和內(nèi)存計(jì)算 （IMC）。CIM 是一種基于硬件的架構(gòu)，可直接在內(nèi)存存儲(chǔ)中執(zhí)行計(jì)算。這減少了對(duì)數(shù)據(jù)傳輸?shù)男枨蟛⒓涌炝擞?jì)算速度。

IMC 是一種硬件和軟件方法。數(shù)據(jù)在 RAM 中處理以提高性能，并且可以利用多個(gè)內(nèi)核和并行處理。CIM 和 IMC 可以從本地內(nèi)存計(jì)算擴(kuò)展 （CXL） 標(biāo)準(zhǔn)中受益。

用 CXL 征服墻壁

CXL 附加內(nèi)存通過實(shí)現(xiàn)高效的內(nèi)存共享和擴(kuò)展多個(gè)處理器可用的內(nèi)存容量和帶寬來解決 HPC 內(nèi)存壁問題。它利用 PCIe 物理層提供低延遲和高帶寬通信，促進(jìn) CPU 和附加內(nèi)存之間的高效數(shù)據(jù)傳輸。

CXL 確保內(nèi)存訪問是一致的，并且所有處理器都具有一致的內(nèi)存視圖，從而簡(jiǎn)化了內(nèi)存管理。它為更高效的內(nèi)存使用提供了結(jié)構(gòu)和工具，幫助 HPC 系統(tǒng)克服了內(nèi)存墻挑戰(zhàn)。

總結(jié)

雖然 HPC 內(nèi)存墻通常是指提高處理器速度和滯后內(nèi)存帶寬之間不斷擴(kuò)大的差距，但它也可以相對(duì)于 AI 模型日益復(fù)雜來定義。無論從哪個(gè)定義來看，它都在增長(zhǎng)，并且是一個(gè)越來越嚴(yán)峻的挑戰(zhàn)。設(shè)計(jì)人員可以使用多種工具來擴(kuò)展或降低 HPC 內(nèi)存墻的高度。