許多數(shù)據(jù)中心都配備了高性能圖形處理單元 （GPU） 和張量處理單元 （TPU） 機(jī)架。這些加速器處理海量人工智能 （AI） 和機(jī)器學(xué)習(xí) （ML） 數(shù)據(jù)集，并行執(zhí)行復(fù)雜作并高速交換數(shù)據(jù)。本文探討了將 AI 加速器集群鏈接在一起的互連和連接器。

使用加速器和集群架構(gòu)擴(kuò)展 AI 計(jì)算

GPU、TPU 等 AI 加速器，以及在某些情況下的現(xiàn)場(chǎng)可編程門陣列 （FPGA），使用并行處理來運(yùn)行大型語言模型 （LLM），以大規(guī)模處理復(fù)雜的計(jì)算。這些設(shè)備將復(fù)雜的工作負(fù)載劃分為更小的任務(wù)，并同時(shí)執(zhí)行數(shù)十億次作。大多數(shù) AI 模型都建立在神經(jīng)網(wǎng)絡(luò)之上，神經(jīng)網(wǎng)絡(luò)受益于這種大規(guī)模并行架構(gòu)，可以加速訓(xùn)練和推理。

如圖 1 所示，AI 加速器通常部署在緊密耦合的集群中，以有效地共享數(shù)據(jù)、同步計(jì)算并在數(shù)千個(gè)處理單元之間擴(kuò)展訓(xùn)練。

圖 1.Google 數(shù)據(jù)中心包含用于大規(guī)模機(jī)器學(xué)習(xí)工作負(fù)載的緊密耦合 AI 加速器機(jī)架。此處顯示的是 TPU v4 基礎(chǔ)架構(gòu)的圖示。（圖片：谷歌）)

此配置有助于滿足 AI 工作負(fù)載的低延遲、高性能需求。它還可以提高吞吐量，最大限度地減少瓶頸，并支持對(duì)復(fù)雜的計(jì)算密集型任務(wù)進(jìn)行實(shí)時(shí)推理。

高級(jí)互連架構(gòu)和協(xié)議

數(shù)據(jù)中心使用專門的互連技術(shù)來鏈接 AI 加速器集群，以實(shí)現(xiàn)大規(guī)模高效運(yùn)行，從而在節(jié)點(diǎn)內(nèi)部和節(jié)點(diǎn)之間實(shí)現(xiàn)高速通信。這些互連支持海量數(shù)據(jù)交換、同步處理和復(fù)雜工作負(fù)載的并行執(zhí)行。常見的 AI 加速器互連包括：

NVLink — NVIDIA 專有的高帶寬互連有助于實(shí)現(xiàn) GPU 到 GPU 的直接通信，具有低延遲和高能效。它支持使用專用連接器和 NVSwitch 技術(shù)在加速器之間快速同步和數(shù)據(jù)共享。NVLink 通過啟用內(nèi)存池在多 GPU 環(huán)境中高效擴(kuò)展，允許 GPU 共享統(tǒng)一的地址空間并作為單個(gè)高性能計(jì)算單元運(yùn)行。如圖 2 所示， NVLink 4.0 在 H100 GPU 上提供高達(dá) 900 GB / s 的雙向帶寬。

圖 2.Nvidia 的 H100 GPU 使用 NVLink 4.0 實(shí)現(xiàn)高達(dá) 900 GB/s 的雙向帶寬，可在多加速器集群中實(shí)現(xiàn)高速 GPU 到 GPU 通信。（圖片：英偉達(dá))

UALink — Ultra Accelerator Link 是一種開放式互連標(biāo)準(zhǔn)，旨在在單個(gè)計(jì)算 Pod 中擴(kuò)展多達(dá) 1024 個(gè) AI 加速器的集群。1.0 規(guī)范支持每通道 200G，并實(shí)現(xiàn)具有以太網(wǎng)級(jí)帶寬和 PCIe 級(jí)延遲的密集內(nèi)存語義連接。UALink 支持跨節(jié)點(diǎn)的讀、寫和原子事務(wù)，并為可擴(kuò)展的多節(jié)點(diǎn)系統(tǒng)定義了一個(gè)通用協(xié)議棧。UALink 被定位為在加速器 Pod 內(nèi)擴(kuò)展的高性能替代方案，其目標(biāo)是比典型的以太網(wǎng)更低的延遲來實(shí)現(xiàn)節(jié)點(diǎn)間通信。

Compute Express Link （CXL） 可在 CPU、GPU 和其他加速器之間實(shí)現(xiàn)連貫的低延遲通信。它通過支持緩存一致性、內(nèi)存池化、資源共享和內(nèi)存分解來提高異構(gòu)系統(tǒng)中的資源利用率。CXL 1.1 和 2.0 在 PCIe 5.0 上運(yùn)行，而 CXL 3.0 及更高版本利用 PCIe 6.0 或更高版本，實(shí)現(xiàn)高達(dá) 64 GT/s 的傳輸速度和 128 GB/s 的雙向帶寬。

高速以太網(wǎng)有助于在分布在服務(wù)器和節(jié)點(diǎn)上的加速器集群之間移動(dòng)數(shù)據(jù)。400 GbE 和 800 GbE 等技術(shù)支持使用 NIC 和光纜或銅纜進(jìn)行高吞吐量通信。雖然以太網(wǎng)比 NVLink 或 UALink 引入更高的延遲，但它在機(jī)架和數(shù)據(jù)中心級(jí)別提供了廣泛的互作性和靈活的部署。

光互連和外形尺寸;光纖鏈路可遠(yuǎn)距離高速傳輸數(shù)據(jù)，跨機(jī)架和節(jié)點(diǎn)鏈接加速器集群。與銅纜連接相比，它們消耗的功率更少，并克服了信號(hào)完整性挑戰(zhàn)，如衰減和 EMI。這些互連通常依賴于標(biāo)準(zhǔn)化的外形尺寸，例如四通道小型可插拔 （QSFP）、四通道小型可插拔雙密度 （QSFP-DD） 和八通道小型可插拔 （OSFP），它們用作電氣和光纖以太網(wǎng)連接的物理接口。這些相同的外形尺寸也廣泛用于數(shù)據(jù)中心中的其他高速光互連，例如 InfiniBand 和專有光鏈路，進(jìn)一步擴(kuò)展了它們?cè)诳蓴U(kuò)展計(jì)算基礎(chǔ)設(shè)施中的作用。

AI 加速器的物理連接器和接口

高性能互連依賴于各種物理層組件，包括連接器、插槽和布線接口。這些組件有助于保持信號(hào)完整性、機(jī)械兼容性和可擴(kuò)展的系統(tǒng)設(shè)計(jì)。它們跨電路板、設(shè)備和系統(tǒng)傳輸電信號(hào)和光信號(hào)，促進(jìn)集群 AI 基礎(chǔ)設(shè)施的可靠運(yùn)行。

盡管互連定義了通信協(xié)議和信號(hào)標(biāo)準(zhǔn)，但它們依賴于這些物理接口才能大規(guī)模有效地運(yùn)行。常見的連接器和接口技術(shù)如下所述。

PCIe 接口將加速器卡連接到主機(jī)系統(tǒng)和其他組件。盡管新一代（如 PCIe 5.0 和 6.0）提供可擴(kuò)展的帶寬，但它們可能會(huì)在緊密耦合的多加速器環(huán)境中成為瓶頸。重定時(shí)器通常用于在較長的電路板走線上保持信號(hào)完整性。

夾層連接器用于 Open Compute Project 的 Open Accelerator Infrastructure （OAI）。它們支持高密度模塊到模塊連接，減少信號(hào)損耗，管理阻抗，并簡化模塊化加速器設(shè)計(jì)中的機(jī)械集成。

有源電纜 （AEC） 將數(shù)字信號(hào)處理器集成到銅纜中，以提高更遠(yuǎn)距離的信號(hào)強(qiáng)度。這使得電氣鏈路能夠在無源電纜無法觸及的地方保持?jǐn)?shù)據(jù)完整性。

高速板對(duì)板連接器使用 PAM4 調(diào)制，以高達(dá) 224 Gbps 的數(shù)據(jù)速率實(shí)現(xiàn)直接模塊通信。它們支持 AI 平臺(tái)和緊密集成的加速器集群內(nèi)的密集、低延遲通信。

光纖連接器 — QSFP、QSFP-DD 和 OSFP 外形規(guī)格是光纖和短距離電氣以太網(wǎng)連接的物理接口。這些收發(fā)器格式廣泛部署在 NIC、交換機(jī)端口和光模塊上，并支持 PAM4 調(diào)制，以保持各種部署場(chǎng)景中的信號(hào)性能。

液冷連接器

如圖 3 所示，越來越多的高性能 AI 加速器機(jī)架依賴于液體冷卻。這些系統(tǒng)中使用的許多連接器必須滿足嚴(yán)格的機(jī)械和熱要求，以確保安全、可靠的運(yùn)行。

圖 3.液冷 GPU 服務(wù)器，具有集成的快速斷開接頭和歧管連接，適用于高密度 AI 訓(xùn)練工作負(fù)載。這些連接器經(jīng)過精心設(shè)計(jì)，可在 NVIDIA HGX H100 平臺(tái)等系統(tǒng)中支持安全、高吞吐量的冷卻。（圖片：Supermicro)

這些連接器通?？沙惺芨哌_(dá) 50°C （122°F） 的溫度，支持高達(dá) 13 升/分鐘 （LPM） 的冷卻劑流速，并保持約 0.25 磅/平方英寸 （psi） 的低壓降。它們使用水基和介電流體提供無泄漏作，防止腐蝕，并可輕松與機(jī)架內(nèi)歧管集成。

大多數(shù)液冷連接器都包含快速斷開功能，可實(shí)現(xiàn)無滴漏維護(hù)。大內(nèi)徑（通常約為 5/8 英寸）支持跨 AI 機(jī)架的高流速。有些提供將高速數(shù)據(jù)傳輸與液體冷卻通道相結(jié)合的混合設(shè)計(jì)。其他產(chǎn)品支持與 3 英寸見方的不銹鋼管兼容，或采用堅(jiān)固的結(jié)構(gòu)，以承受溫度波動(dòng)、壓力變化和振動(dòng)。

總結(jié)

AI 數(shù)據(jù)中心依靠各種互連和物理連接器來鏈接加速卡，實(shí)現(xiàn)高速數(shù)據(jù)交換，并促進(jìn)大規(guī)模并行處理。這些組件對(duì)于在緊密耦合的集群中保持性能、信號(hào)完整性和機(jī)械可靠性至關(guān)重要。