該系統(tǒng)幫助機(jī)器人專(zhuān)注于重要的事情，使用聲音和圖像來(lái)猜測(cè)人類(lèi)的目標(biāo)，并快速安全地提供正確的幫助。

使用麻省理工學(xué)院開(kāi)發(fā)的新型相關(guān)性框架，該機(jī)器人可以識(shí)別場(chǎng)景中的物體并確定其優(yōu)先級(jí)，以無(wú)縫、智能和安全的方式自主協(xié)助人類(lèi)。鳴謝：鳴謝：由研究人員提供

機(jī)器人發(fā)現(xiàn)現(xiàn)實(shí)世界很難理解。麻省理工學(xué)院制作了一個(gè)名為“相關(guān)性”的系統(tǒng)，以幫助機(jī)器人專(zhuān)注于重要的事情。它使用聲音和圖像來(lái)猜測(cè)一個(gè)人想要什么并迅速提供幫助。

該團(tuán)隊(duì)用自助早餐對(duì)其進(jìn)行了測(cè)試。該機(jī)器人使用攝像頭和麥克風(fēng)，通過(guò)觀察和傾聽(tīng)來(lái)向人們遞咖啡。它猜對(duì)了 90% 的目標(biāo)，96% 的時(shí)間選擇了正確的對(duì)象，事故減少了 60%。

尋找焦點(diǎn)

該團(tuán)隊(duì)構(gòu)建了一個(gè)機(jī)器人，其工作方式類(lèi)似于大腦的 RAS，幫助它專(zhuān)注于重要的事情而忽略其余的事情。首先，機(jī)器人使用攝像頭和麥克風(fēng)進(jìn)行觀察和傾聽(tīng)，將所見(jiàn)所聞發(fā)送給 AI，后者會(huì)找到人、物體、動(dòng)作和關(guān)鍵詞。其次，它檢查是否有任何重要的事情發(fā)生，例如一個(gè)人進(jìn)入房間。如果它看到一個(gè)人，第三步就開(kāi)始了：機(jī)器人弄清楚這個(gè)人想要什么，并找到合適的物品來(lái)提供幫助，比如挑選杯子和奶精，而不是水果和零食。

幫助程序模式

研究人員通過(guò)模擬會(huì)議自助早餐的實(shí)驗(yàn)測(cè)試了他們的新系統(tǒng)。他們之所以選擇這種設(shè)置，是因?yàn)?Breakfast Actions 數(shù)據(jù)集已公開(kāi)發(fā)布，其中包含顯示常見(jiàn)早餐活動(dòng)（如煮咖啡、煮煎餅、制作麥片和煎蛋）的視頻和圖像。每個(gè)視頻和圖像都標(biāo)有具體的作和總體目標(biāo)，例如 “煮咖啡” 或 “煎蛋”。

利用這個(gè)數(shù)據(jù)集，該團(tuán)隊(duì)在其 AI 工具包中訓(xùn)練和測(cè)試了不同的算法，以識(shí)別人類(lèi)行為，找出人的目標(biāo)，并確定需要幫助的對(duì)象。在他們的實(shí)驗(yàn)中，他們?cè)O(shè)置了一個(gè)機(jī)械臂和夾持器，然后要求機(jī)器人在人們接近一張裝滿飲料、小吃和餐具的桌子時(shí)協(xié)助他們。當(dāng)周?chē)鷽](méi)有人時(shí)，機(jī)器人的 AI 會(huì)在后臺(tái)悄悄地工作，對(duì)桌子上的物體進(jìn)行標(biāo)記和分類(lèi)。但是，當(dāng)檢測(cè)到人類(lèi)時(shí)，機(jī)器人會(huì)立即切換到其相關(guān)性階段，根據(jù) AI 預(yù)測(cè)的目標(biāo)快速找到對(duì)人類(lèi)最有幫助的對(duì)象。