麻省理工學(xué)院的研究人員創(chuàng)建了一個(gè)周期表，展示了 20 多種經(jīng)典機(jī)器學(xué)習(xí)算法之間的聯(lián)系。這個(gè)新框架揭示了科學(xué)家如何融合不同方法的策略，以改進(jìn)現(xiàn)有的 AI 模型或提出新的模型。

例如，研究人員使用他們的框架結(jié)合了兩種不同算法的元素，創(chuàng)建了一種新的圖像分類(lèi)算法，其性能比當(dāng)前最先進(jìn)的方法提高了8%。

這個(gè)周期表源于一個(gè)關(guān)鍵思想：所有這些算法學(xué)習(xí)的是數(shù)據(jù)點(diǎn)之間的一種特定關(guān)系。雖然每種算法可能以略微不同的方式完成這一點(diǎn)，但每種方法背后的核心數(shù)學(xué)是相同的。

基于這些見(jiàn)解，研究人員確定了一個(gè)統(tǒng)一方程，它構(gòu)成了許多經(jīng)典 AI 算法的基礎(chǔ)。他們使用該方程重新構(gòu)建了流行的方法，并將它們排列成一個(gè)表格，根據(jù)它們學(xué)習(xí)的近似關(guān)系對(duì)每種方法進(jìn)行分類(lèi)。

就像化學(xué)元素周期表最初包含空白方格并由科學(xué)家填補(bǔ)一樣，機(jī)器學(xué)習(xí)周期表也有空白之處。這些空白處預(yù)示著算法應(yīng)該存在但尚未被發(fā)現(xiàn)的地方。

該表為研究人員提供了一套工具，使他們能夠在無(wú)需重新發(fā)現(xiàn)先前方法中的想法的情況下設(shè)計(jì)新算法，這是麻省理工學(xué)院研究生、該論文的主要作者 Shaden Alshammari 說(shuō)的。

Alshammari 補(bǔ)充道：“這不僅僅是一個(gè)比喻。我們開(kāi)始將機(jī)器學(xué)習(xí)視為一個(gè)有結(jié)構(gòu)的系統(tǒng)，一個(gè)我們可以探索的空間，而不是僅僅猜測(cè)著前進(jìn)?！?/p>

她與論文合著者 John Hershey（谷歌人工智能感知研究員）、麻省理工學(xué)院研究生 Axel Feldmann、電氣工程與計(jì)算機(jī)科學(xué)托馬斯和格爾德·皮爾金斯教授威廉·弗里曼（計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室成員）以及資深作者 Mark Hamilton（麻省理工學(xué)院研究生和微軟高級(jí)工程經(jīng)理）共同撰寫(xiě)了這篇論文。該研究將在學(xué)習(xí)表示國(guó)際會(huì)議上發(fā)表。

一個(gè)意外的方程式

研究人員最初并沒(méi)有打算創(chuàng)建一個(gè)機(jī)器學(xué)習(xí)的元素周期表。

加入弗里曼實(shí)驗(yàn)室后，阿爾沙馬里開(kāi)始研究聚類(lèi)，這是一種機(jī)器學(xué)習(xí)技術(shù)，通過(guò)學(xué)習(xí)將相似的圖像組織到附近的集群中來(lái)對(duì)圖像進(jìn)行分類(lèi)。

她意識(shí)到她正在研究的聚類(lèi)算法與另一種經(jīng)典的機(jī)器學(xué)習(xí)算法，稱為對(duì)比學(xué)習(xí)，非常相似，并開(kāi)始深入研究數(shù)學(xué)。阿爾沙馬里發(fā)現(xiàn)這兩個(gè)不同的算法可以用同一個(gè)基本方程式重新表述。

"我們幾乎偶然地得到了這個(gè)統(tǒng)一方程。一旦 Shaden 發(fā)現(xiàn)它能連接兩種方法，我們就開(kāi)始?jí)粝雽⑿碌姆椒ㄒ脒@個(gè)框架。我們嘗試的幾乎每一種方法都可以加入其中，"漢密爾頓說(shuō)。

他們創(chuàng)建的框架，信息對(duì)比學(xué)習(xí)（I-Con），展示了如何通過(guò)這個(gè)統(tǒng)一方程的視角來(lái)看待各種算法。它包括從可以檢測(cè)垃圾郵件的分類(lèi)算法到為 LLMs 提供動(dòng)力的深度學(xué)習(xí)算法。

該方程描述了這些算法如何找到真實(shí)數(shù)據(jù)點(diǎn)之間的連接，然后在內(nèi)部近似這些連接。

每種算法都旨在最小化它所學(xué)習(xí)來(lái)近似連接與訓(xùn)練數(shù)據(jù)中的真實(shí)連接之間的偏差。

他們決定將 I-Con 組織成一個(gè)周期表，根據(jù)點(diǎn)在真實(shí)數(shù)據(jù)集中的連接方式以及算法可以近似這些連接的主要方式來(lái)對(duì)算法進(jìn)行分類(lèi)。

"這項(xiàng)工作逐漸展開(kāi)，一旦我們確定了這個(gè)方程的總體結(jié)構(gòu)，就更容易向我們的框架中添加更多方法了，Alshammari 說(shuō)。"

發(fā)現(xiàn)工具

當(dāng)他們排列這張表時(shí)，研究人員開(kāi)始看到一些算法可以存在但尚未發(fā)明的空白。

"研究人員通過(guò)借鑒一種名為對(duì)比學(xué)習(xí)的機(jī)器學(xué)習(xí)技術(shù)，并將其應(yīng)用于圖像聚類(lèi)，填補(bǔ)了一個(gè)空白。這產(chǎn)生了一種新算法，該算法在分類(lèi)未標(biāo)記圖像方面比另一種最先進(jìn)的方法提高了 8%。

他們還使用 I-Con 展示了如何將針對(duì)對(duì)比學(xué)習(xí)開(kāi)發(fā)的數(shù)據(jù)去偏技術(shù)用于提高聚類(lèi)算法的準(zhǔn)確性。

此外，靈活的周期表允許研究人員添加新的行和列來(lái)表示額外的數(shù)據(jù)點(diǎn)連接類(lèi)型。

最終，將 I-Con 作為指南可以幫助機(jī)器學(xué)習(xí)科學(xué)家跳出思維定式，鼓勵(lì)他們將想法以他們?cè)究赡懿粫?huì)想到的方式結(jié)合起來(lái)，漢密爾頓說(shuō)。

“我們已經(jīng)證明，僅僅一個(gè)非常優(yōu)雅的方程式，植根于信息科學(xué)，就能給你跨越100年機(jī)器學(xué)習(xí)研究的豐富算法。這為發(fā)現(xiàn)開(kāi)辟了許多新的途徑，”他補(bǔ)充道。

這項(xiàng)研究得到了空軍人工智能加速器、國(guó)家科學(xué)基金會(huì)人工智能與基礎(chǔ)相互作用研究所和量子計(jì)算機(jī)的部分資助。