微軟開發(fā)出名為Magma的新型生成式AI，能自主控制機器人并處理其傳感器信息，朝向ChatGPT等AI通過機器人與現(xiàn)實世界互動的目標邁進一大步。

Magma可處理文字、圖像和視頻等多模態(tài)數(shù)據(jù)，并在視覺空間世界中規(guī)劃和行動，例如執(zhí)行UI導航或控機器人等任務。 微軟表示，Magma能有效地從公開的視覺和語言數(shù)據(jù)中轉移知識，將語言和空間智能結合起來，以應對復雜的任務。

Magma是從大型語言模型和聊天機器人轉向「AI代理」的趨勢的一部分，AI代理可以代表人類執(zhí)行任務。 但這項技術仍存在技術限制，例如OpenAI最近發(fā)布的AI代理Operator，雖然設計用于瀏覽互聯(lián)網(wǎng)并執(zhí)行任務，但仍需要大量的人工監(jiān)督。

盡管如此，根據(jù)微軟的測試，Magma AI在UI導航和機器人控任務上創(chuàng)造了新的最佳結果，表現(xiàn)優(yōu)于專為這些任務量身定制的先前模型。 微軟發(fā)布的影片顯示，該AI能將塑料蘑菇放入金屬碗中，并將抹布推過臺面。

除了控機器手臂外，Magma還可以用于通過實時視頻提供協(xié)助，例如在真實的西洋棋游戲中提供幫助，或在客廳中建議如何放松幾個小時。

然而，微軟的研究人員也承認，Magma AI并非完美無缺。 例如，他們設計的測試都非常具體，而且教學影片中的身份和活動分布并不代表全球人類和社會的多樣性。

透過微軟Magma的生成式AI技術，自主控制機器人進行取拿物品的動作。 （來源：微軟演示視頻）