至于原因，一方面是大模型需要跳出擴(kuò)展參數(shù)規(guī)模的范疇，另一方面受限于高昂的訓(xùn)練成本。

近幾個(gè)月來，OpenAI ChatGPT 的強(qiáng)大生成式對話能力引發(fā)了人們對 AI 的新興趣和投資。隨著國內(nèi)外掀起類 ChatGPT 研發(fā)熱潮，對話式 AI 及背后的大模型被更多人看好。
但上周在 MIT 的視頻發(fā)言中，OpenAI CEO Sam Altman 發(fā)表了另一番言論。他警告稱，誕生 ChatGPT 的研究策略已經(jīng)結(jié)束。至于未來會(huì)在哪些方面出現(xiàn)進(jìn)展尚不清楚。

過去幾年，OpenAI 通過采用現(xiàn)有機(jī)器學(xué)習(xí)算法并將它們擴(kuò)展到以往無法想象的規(guī)模，在與語言相關(guān)的人工智能領(lǐng)域取得了一系列引人矚目的進(jìn)展。其中作為最新的進(jìn)展，GPT-4 可能使用數(shù)萬億文本單詞和數(shù)千個(gè)強(qiáng)大的計(jì)算機(jī)芯片訓(xùn)練。
GPT-4 在語言、數(shù)學(xué)、編程、視覺、醫(yī)學(xué)、法律和心理學(xué)等多種任務(wù)上都有出色的表現(xiàn)。Sam Altman 卻對此表示，讓模型變得更大（比如巨型模型）將不會(huì)進(jìn)一步帶來新進(jìn)展。

Sam Altman 的這番言論表明，在開發(fā)和部署新 AI 算法的競賽中出現(xiàn)了一個(gè)意想不到的轉(zhuǎn)折。自去年 11 月 ChatGPT 推出以來，微軟利用底層技術(shù)在必應(yīng)搜索中添加了基于它的聊天機(jī)器人，谷歌也推出 Bard 競品。很多人急著嘗試使用新型聊天機(jī)器人幫助完成工作或個(gè)人任務(wù)。
與此同時(shí)，包括 Anthropic、AI21、Cohere 和 Character.AI 在內(nèi)眾多資金雄厚的初創(chuàng)公司都投入大量資源構(gòu)建規(guī)模更大的算法，以努力追趕 OpenAI。
不過，Sam Altman 的話似乎預(yù)示著，GPT-4 可能是 OpenAI 研發(fā)更大模型并喂給它們更多數(shù)據(jù)這一戰(zhàn)略的最后一個(gè)重大進(jìn)展。這也可以從他親自辟謠 GPT-5 的相關(guān)傳聞中看出一些端倪，他表示目前沒有訓(xùn)練 GPT-5，短期內(nèi)也不會(huì)訓(xùn)練。
在描述 GPT-4 的論文中，OpenAI 預(yù)估擴(kuò)展模型規(guī)模的收益將出現(xiàn)遞減。OpenAI 建造數(shù)據(jù)中心的數(shù)量以及建造速度也存在物理限制。
除了大模型設(shè)計(jì)和架構(gòu)本身的原因，巨額花費(fèi)也是一大原因。據(jù)報(bào)道，ChatGPT 需要至少 10000 個(gè) GPU 進(jìn)行訓(xùn)練，還需要更多資源保證持續(xù)運(yùn)行。而英偉達(dá)專為 AI 和高性能計(jì)算設(shè)計(jì)的最新 H100 GPU 單價(jià)高達(dá) 30,603 美元，無疑成本高昂。Altman 親自承認(rèn)，GPT-4 的訓(xùn)練花費(fèi)超過了 1 億美元。
Cohere 的聯(lián)合創(chuàng)始人（曾在谷歌從事 AI 工作）Nick Frosst 表示，Altman 的擴(kuò)大規(guī)模并不能永遠(yuǎn)奏效的觀點(diǎn)聽起來是對的。他也認(rèn)為，Transformer（GPT-4 及競品的核心機(jī)器學(xué)習(xí)模型類型）的進(jìn)展已經(jīng)超出了擴(kuò)展范疇。除了向模型添加更多參數(shù)之外，還有很多其他方法可以使 Transformer 變得更好、更有用。
新的 AI 模型設(shè)計(jì)或架構(gòu)以及基于人類反饋的進(jìn)一步微調(diào)成為很多研究人員已經(jīng)在探索的有前景的方向。
馬斯克將 AI 項(xiàng)目命名為 TruthGPT
馬斯克這邊，雖然嘴上說擔(dān)憂 GPT-4 引發(fā)社會(huì)問題，并簽署暫停開發(fā)比 GPT-4 更強(qiáng)大的系統(tǒng)至少六個(gè)月。但實(shí)際情況卻是馬斯克正致力于新建一家人工智能初創(chuàng)公司 X.AI，與 OpenAI 直接展開競爭。
據(jù)報(bào)道，馬斯克已經(jīng)從英偉達(dá)獲取了上萬塊 GPU，這些系統(tǒng)為人工智能和高端圖形處理等密集型任務(wù)所需的計(jì)算提供動(dòng)力。

馬斯克證實(shí)了有關(guān)他計(jì)劃創(chuàng)建一家人工智能初創(chuàng)公司，與 ChatGPT 競爭的報(bào)道。馬斯克在接受?？怂共稍L時(shí)宣布了這項(xiàng)計(jì)劃，并表示，「我將創(chuàng)建一種稱為 TruthGPT 的人工智能平臺(tái)，或者說是一個(gè)最大限度地尋求真理的人工智能，可以理解宇宙的本質(zhì)。我認(rèn)為這可能是通往（AI）安全的最佳途徑，從某種意義上說，一個(gè)關(guān)心理解宇宙的人工智能不太可能滅絕人類，因?yàn)槲覀兪怯钪嬷杏腥さ囊徊糠??！?/span>
馬斯克在采訪中還表示，他相信人工智能具有毀滅文明的潛力，無論（其力量）多么小。
此前，馬斯克于 2015 年與 OpenAI 現(xiàn)任 CEO Sam Altman 等人共同創(chuàng)立了 OpenAI，但馬斯克于 2018 年離開了公司董事會(huì)。據(jù)了解，馬斯克當(dāng)時(shí)聲明的原因是為了避免與特斯拉發(fā)生潛在的利益沖突，但后來馬斯克表示還有其他原因，另一個(gè)原因是他不同意 OpenAI 團(tuán)隊(duì)在做的一些事情。
另外據(jù) Semafor  3 月份報(bào)道，馬斯克曾試圖在 2018 年接任公司 CEO 一職，但在 Altman 和其他人拒絕后便離開了。
自從退出 OpenAI 董事會(huì)以來，馬斯克一再批評 OpenAI。就在今年 2 月，他還表示現(xiàn)在的 OpenAI 根本不是他所希望的，并稱 OpenAI 為微軟控制的、閉源、利潤最大化的公司」。
面多馬斯克的多次攻擊，Altman 表示即便如此，自己仍將馬斯克視為自己的偶像之一，并表示，「我相信馬斯克確實(shí)對 AGI 安全感到壓力，這是可以理解的?！?/span>
值得一提的是這不是馬斯克第一次考慮打造 TruthGPT。他在 2 月曾經(jīng)發(fā)推說，我們需要的是 TruthGPT。

關(guān)于 TruthGPT 的更多細(xì)節(jié)，馬斯克沒有透漏更多消息，我們可以后續(xù)期待一波。
參考鏈接：https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/https://venturebeat.com/ai/openai-chief-says-age-of-giant-ai-models-is-ending-a-gpu-crisis-could-be-one-reason-why/