10月8日消息，近日人工智能（AI）技術(shù)公司Inflection AI宣布其最新的企業(yè)平臺將放棄采用英偉達（Nvidia）的GPU，轉(zhuǎn)而使用英特爾的Gaudi 3 加速器。

英特爾對此表示：“雖然 Inflection AI 的 Pi 客戶應用程序以前在英偉達GPU上運行，但 Inflection 3.0 將由英特爾Gaudi 3 提供支持，部署在英特爾 Tiber AI Cloud 提供的云中實例上?！?/p>

資料顯示，Inflection AI 成立于 2022 年，最初是一家AI大模型開發(fā)廠商，開發(fā)了一款名為 Pi 的對話式個人助理。然而，在今年春天，其主要創(chuàng)始人 Mustafa Suleyman 和 Karén Simoniyan 離開 Microsoft 后，這家初創(chuàng)公司已將重點轉(zhuǎn)移到使用其數(shù)據(jù)為企業(yè)構(gòu)建定制的微調(diào)模型。

這家初創(chuàng)公司平臺的最新版本 Inflection 3.0 旨在使用他們自己的專有數(shù)據(jù)集對其模型進行微調(diào)，目標是構(gòu)建整個企業(yè)特定的 AI 應用程序。英特爾公司本身也將成為首批采用 Inflection 3.0服務的客戶之一，而這或許也是推動讓Inflection放棄英偉達GPU，轉(zhuǎn)向采用英特爾Gaudi 3 加速器的原因。

雖然 Inflection 3.0將在英特爾Gaudi 3 加速器上運行，但Inflection AI公司不會馬上建立自己獨立的系統(tǒng)。與托管在亞馬遜Azure 中的 Inflection 2.5 類似，最新版本將在英特爾的 Tiber AI Cloud 服務上運行。Inflection AI公司計劃從 2025 年第一季度開始，提供基于英特爾 AI 加速器的物理系統(tǒng)。

雖然 Inflection AI正在使用 Gaudi 3 加速器來支持其企業(yè)平臺，但并不意味著客戶只能使用 Gaudi 3 加速器來運行他們完成的模型。

AI 模型和軟件開發(fā)并不便宜，但與所需的硬件加速器相比，還是要低很多。比如一個英偉達H100 GPU大約就需要30000美元，而英特爾的Gaudi 3 則要便宜很多，只要15000美元左右。

資料顯示，Gaudi 3基于臺積電5nm工藝，擁有 8 個矩陣數(shù)學引擎、64 個張量內(nèi)核、96MB SRAM（每個Tile 48MB，可提供12.8 TB/s的總帶寬） 和 128 GB HBM2e 內(nèi)存，16 個 PCIe 5.0 通道和 24 個 200GbE 鏈路 。在計算核心的周圍，則是八個HBM2e內(nèi)存堆棧，總?cè)萘繛?28 GB，帶寬為3.7 TBps。擁有 1,835 teraFLOPS 的密集 FP8 或 BF16 性能。

英特爾官方公布的數(shù)據(jù)顯示，Gaudi 3 在流行的大語言模型（LLM）訓練速度方面，比英偉達H100平均快了40%；在流行大模型的推理能效表現(xiàn)上，比如英偉達H100領先50%。英特爾 Gaudi 3 與英偉達 H100 在相同節(jié)點數(shù)量下，相關(guān)大模型訓練時間對比上最高快了1.7倍，其中，LLAMA2 70 億參數(shù)對比有 1.5 倍于 H100 的優(yōu)勢，LLAMA2 130 億參數(shù)最高有 1.7 倍的優(yōu)勢，GPT-3 1750 億參數(shù)有 1.4 倍優(yōu)勢。在大模型推理速度表現(xiàn)上，Gaudi 3 相比 H100 平均快了1.5倍，最高快了4倍。

雖然Gaudi 3的 FP8性能與 H100 大致相當，但在 BF16精度下，它提供的密集浮點性能幾乎是H100的兩倍，這對 Inflection 所針對的訓練和微調(diào)工作負載產(chǎn)生了很大的影響。至少在紙面上，Gaudi 3 不僅有望在訓練和推理方面比 英偉達H100 更快，而且成本更低。

“通過在英特爾Gaudi 3上運行 Inflection 3.0，我們看到性價比提高了 2 倍...與目前的競爭產(chǎn)品相比?！癐nflection AI 首席執(zhí)行官肖恩·懷特 （Sean White）本周一在一篇博客文章中寫道。

值得一提的是，IBM 也計劃將對 Gaudi 3 的支持擴展到其 watsonx AI 平臺。英特爾此前也曾宣布，該Gaudi 3 加速器已經(jīng)向戴爾科技和超威電腦（Supermicro）等OEM 發(fā)貨。

從明年開始，Gaudi 將讓位于名為 Falcon Shores 的 GPU，它將英特爾的 Xe 圖形計算技術(shù)與 Habana 的技術(shù)融合在一起，從而導致有關(guān)遷移路徑的問題是可以理解的。

英特爾堅持認為，對于在 PyTorch 等高級框架中編碼的客戶，后續(xù)向 Falcon Shores的遷移將大部分是無縫的。對于那些在較低級別構(gòu)建 AI 應用程序的人，英特爾已承諾在 Falcon Shores 首次亮相之前提供額外的指南。

編輯：芯智訊-浪客劍