晶圓級(jí)芯片，是未來(lái)

• 今天，大模型參數(shù)已經(jīng)以「億」為單位狂飆。僅僅過(guò)了兩年，大模型所需要的計(jì)算能力就增加了 1000 倍，這遠(yuǎn)遠(yuǎn)超過(guò)了硬件迭代的速度。目前支持 AI 大模型的方案，主流是依靠 GPU 集群。但單芯片 GPU 的瓶頸是很明顯的：第一，單芯片的物理尺寸限制了晶體管數(shù)量，即便采用先進(jìn)制程工藝，算力提升也逐漸逼近摩爾定律的極限；第二，多芯片互聯(lián)時(shí)，數(shù)據(jù)在芯片間傳輸產(chǎn)生的延遲與帶寬損耗，導(dǎo)致整體性能無(wú)法隨芯片數(shù)量線性增長(zhǎng)。這就是為什么，面對(duì) GPT-4、文心一言這類(lèi)萬(wàn)億參數(shù)模型，即使堆疊數(shù)千塊英偉達(dá) H100，
• 關(guān)鍵字： 晶圓級(jí)芯片