熟女俱乐部五十路二区av,又爽又黄禁片视频1000免费,国产卡一卡二卡三无线乱码新区,中文无码一区二区不卡αv,中文在线中文a

"); //-->

博客專欄

EEPW首頁 > 博客 > AI大戲未落幕 微軟GPU資源卻告急 內(nèi)部已采取配額供給制

AI大戲未落幕 微軟GPU資源卻告急 內(nèi)部已采取配額供給制

發(fā)布人:科創(chuàng)板日報(bào) 時(shí)間:2023-03-19 來源:工程師 發(fā)布文章

GPT-4 剛剛發(fā)布,而OpenAI最大金主微軟還將在3月16日發(fā)布一整套使用GPT-4的Office 365工具。新工具/應(yīng)用當(dāng)然也需要算力支持,但據(jù)The Information消息,微軟內(nèi)部已陷入AI服務(wù)器硬件短缺的窘境。


為了給新版必應(yīng)聊天機(jī)器人與新款Office 365留下足夠的資源,微軟在明確客戶需求量之前,不得不對AI硬件資源采取“配額供給”機(jī)制,限制公司內(nèi)部其他AI工具開發(fā)團(tuán)隊(duì)的資源用量。
被迫“讓位”的團(tuán)隊(duì)中,就包括各種機(jī)器學(xué)習(xí)模型開發(fā)隊(duì)伍,例如微軟的圖靈自然語言生成模型。這些團(tuán)隊(duì)若想使用GPU開發(fā)新AI工具或測試現(xiàn)有AI軟件時(shí),必須向一位副總裁提交特別申請,獲批后才能使用相關(guān)硬件資源。
而報(bào)道指出,實(shí)際上2022年末,微軟就一直對內(nèi)部GPU資源實(shí)行配額供給,但1月以來申請審批時(shí)間越來越長,如今部分申請需要等待幾天甚至幾周才能獲批。
GPT-4等新AI大模型需要在GPU上運(yùn)行,而為了處理這些大模型帶來的龐大計(jì)算需求,微軟已將數(shù)萬個GPU整合成一個個群集,分散到各個數(shù)據(jù)中心。
而AI硬件資源短缺的核心原因之一,便是新版必應(yīng)聊天機(jī)器人與新款Office工具的資源需求尚不明朗

微軟2月推出新版必應(yīng)聊天機(jī)器人,目前還在加緊測算平均每天有多少人愿意使用這項(xiàng)服務(wù),因此工程師暫時(shí)難以預(yù)測該功能所需的計(jì)算資源;
即將推出的新款Office 365工具中,新功能包括AI文檔總結(jié)、個性化寫作建議以及編輯建議等,這些也可能導(dǎo)致微軟客戶對OpenAI聊天機(jī)器人技術(shù)的需求大幅激增。

客戶“嗷嗷待哺”
眼下正是OpenAI與微軟試圖推銷產(chǎn)品、擴(kuò)大銷售范圍的時(shí)候。
微軟可通過Azure OpenAI服務(wù),向創(chuàng)業(yè)公司銷售軟件,而OpenAI也可將軟件直接授權(quán)給客戶使用。這兩項(xiàng)服務(wù)定價(jià)相同,每次請求收費(fèi)都不到一美分。而根據(jù)雙方合作內(nèi)容,所有OpenAI機(jī)器學(xué)習(xí)模型都必須在Azure服務(wù)器運(yùn)行。
兩家公司推出的服務(wù)引起了廣泛關(guān)注,許多公司都希望將ChatGPT的底層技術(shù)集成到自家產(chǎn)品中。但隨著微軟陷入AI硬件資源短缺,使用Azure OpenAI服務(wù)的新客戶需要等待的時(shí)間越來越長

例如,市場營銷軟件創(chuàng)業(yè)公司TouchCast表示,幾乎每次都要遇到延遲訪問,不能立刻使用程序。該公司正為多家車企開發(fā)基于GPT的互動式用戶手冊,而這項(xiàng)技術(shù)正是通過微軟Azure授權(quán)的。
不過,此前已購買服務(wù)的Azure AI客戶幾乎未受影響:無人駕駛汽車開發(fā)商Cruise和AI搜索創(chuàng)業(yè)公司Perplexity都表示,使用Azure的GPU資源時(shí)并未遇到困難。

微軟:正在添置資源
微軟表示,公司正在加緊添置更多AI硬件資源,并將遵循“優(yōu)先滿足客戶需求、根據(jù)需求進(jìn)行調(diào)整”的流程。同時(shí)其直言,微軟并不擔(dān)心AI硬件資源問題。
值得一提的是,微軟去年11月已與英偉達(dá)共同宣布,將新增數(shù)萬個處理器來擴(kuò)大AI處理能力,但目前采購進(jìn)度仍未明確
雙方日前還宣布,Azure客戶很快就能搶先使用英偉達(dá)新款H100 GPU。The Information指出,微軟內(nèi)部已有少部分團(tuán)隊(duì)開始使用H100,但多數(shù)部門尚未獲得這項(xiàng)權(quán)限。


*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點(diǎn),如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: AI

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉