10月8日消息，近日人工智能（AI）技術(shù)公司Inflection AI宣布其最新的企業(yè)平臺(tái)將放棄采用英偉達(dá)（Nvidia）的GPU，轉(zhuǎn)而使用英特爾的Gaudi 3 加速器。

英特爾對(duì)此表示：“雖然 Inflection AI 的 Pi 客戶應(yīng)用程序以前在英偉達(dá)GPU上運(yùn)行，但 Inflection 3.0 將由英特爾Gaudi 3 提供支持，部署在英特爾 Tiber AI Cloud 提供的云中實(shí)例上?！?/p>

資料顯示，Inflection AI 成立于 2022 年，最初是一家AI大模型開(kāi)發(fā)廠商，開(kāi)發(fā)了一款名為 Pi 的對(duì)話式個(gè)人助理。然而，在今年春天，其主要?jiǎng)?chuàng)始人 Mustafa Suleyman 和 Karén Simoniyan 離開(kāi) Microsoft 后，這家初創(chuàng)公司已將重點(diǎn)轉(zhuǎn)移到使用其數(shù)據(jù)為企業(yè)構(gòu)建定制的微調(diào)模型。

這家初創(chuàng)公司平臺(tái)的最新版本 Inflection 3.0 旨在使用他們自己的專有數(shù)據(jù)集對(duì)其模型進(jìn)行微調(diào)，目標(biāo)是構(gòu)建整個(gè)企業(yè)特定的 AI 應(yīng)用程序。英特爾公司本身也將成為首批采用 Inflection 3.0服務(wù)的客戶之一，而這或許也是推動(dòng)讓Inflection放棄英偉達(dá)GPU，轉(zhuǎn)向采用英特爾Gaudi 3 加速器的原因。

雖然 Inflection 3.0將在英特爾Gaudi 3 加速器上運(yùn)行，但I(xiàn)nflection AI公司不會(huì)馬上建立自己獨(dú)立的系統(tǒng)。與托管在亞馬遜Azure 中的 Inflection 2.5 類(lèi)似，最新版本將在英特爾的 Tiber AI Cloud 服務(wù)上運(yùn)行。Inflection AI公司計(jì)劃從 2025 年第一季度開(kāi)始，提供基于英特爾 AI 加速器的物理系統(tǒng)。

雖然 Inflection AI正在使用 Gaudi 3 加速器來(lái)支持其企業(yè)平臺(tái)，但并不意味著客戶只能使用 Gaudi 3 加速器來(lái)運(yùn)行他們完成的模型。

AI 模型和軟件開(kāi)發(fā)并不便宜，但與所需的硬件加速器相比，還是要低很多。比如一個(gè)英偉達(dá)H100 GPU大約就需要30000美元，而英特爾的Gaudi 3 則要便宜很多，只要15000美元左右。

資料顯示，Gaudi 3基于臺(tái)積電5nm工藝，擁有 8 個(gè)矩陣數(shù)學(xué)引擎、64 個(gè)張量?jī)?nèi)核、96MB SRAM（每個(gè)Tile 48MB，可提供12.8 TB/s的總帶寬） 和 128 GB HBM2e 內(nèi)存，16 個(gè) PCIe 5.0 通道和 24 個(gè) 200GbE 鏈路 。在計(jì)算核心的周?chē)瑒t是八個(gè)HBM2e內(nèi)存堆棧，總?cè)萘繛?28 GB，帶寬為3.7 TBps。擁有 1,835 teraFLOPS 的密集 FP8 或 BF16 性能。

英特爾官方公布的數(shù)據(jù)顯示，Gaudi 3 在流行的大語(yǔ)言模型（LLM）訓(xùn)練速度方面，比英偉達(dá)H100平均快了40%；在流行大模型的推理能效表現(xiàn)上，比如英偉達(dá)H100領(lǐng)先50%。英特爾 Gaudi 3 與英偉達(dá) H100 在相同節(jié)點(diǎn)數(shù)量下，相關(guān)大模型訓(xùn)練時(shí)間對(duì)比上最高快了1.7倍，其中，LLAMA2 70 億參數(shù)對(duì)比有 1.5 倍于 H100 的優(yōu)勢(shì)，LLAMA2 130 億參數(shù)最高有 1.7 倍的優(yōu)勢(shì)，GPT-3 1750 億參數(shù)有 1.4 倍優(yōu)勢(shì)。在大模型推理速度表現(xiàn)上，Gaudi 3 相比 H100 平均快了1.5倍，最高快了4倍。

雖然Gaudi 3的 FP8性能與 H100 大致相當(dāng)，但在 BF16精度下，它提供的密集浮點(diǎn)性能幾乎是H100的兩倍，這對(duì) Inflection 所針對(duì)的訓(xùn)練和微調(diào)工作負(fù)載產(chǎn)生了很大的影響。至少在紙面上，Gaudi 3 不僅有望在訓(xùn)練和推理方面比 英偉達(dá)H100 更快，而且成本更低。

“通過(guò)在英特爾Gaudi 3上運(yùn)行 Inflection 3.0，我們看到性價(jià)比提高了 2 倍...與目前的競(jìng)爭(zhēng)產(chǎn)品相比?！癐nflection AI 首席執(zhí)行官肖恩·懷特 （Sean White）本周一在一篇博客文章中寫(xiě)道。

值得一提的是，IBM 也計(jì)劃將對(duì) Gaudi 3 的支持?jǐn)U展到其 watsonx AI 平臺(tái)。英特爾此前也曾宣布，該Gaudi 3 加速器已經(jīng)向戴爾科技和超威電腦（Supermicro）等OEM 發(fā)貨。

從明年開(kāi)始，Gaudi 將讓位于名為 Falcon Shores 的 GPU，它將英特爾的 Xe 圖形計(jì)算技術(shù)與 Habana 的技術(shù)融合在一起，從而導(dǎo)致有關(guān)遷移路徑的問(wèn)題是可以理解的。

英特爾堅(jiān)持認(rèn)為，對(duì)于在 PyTorch 等高級(jí)框架中編碼的客戶，后續(xù)向 Falcon Shores的遷移將大部分是無(wú)縫的。對(duì)于那些在較低級(jí)別構(gòu)建 AI 應(yīng)用程序的人，英特爾已承諾在 Falcon Shores 首次亮相之前提供額外的指南。

編輯：芯智訊-浪客劍