爆火的大模型，正在重塑「通用機器人智能體」的研究。

前段時間，$谷歌-A(GOOGL.US)$/$谷歌-C(GOOG.US)$DeepMind推出了耗時7個月打造的項目RT-2，能數學推理、辨認明星，在網上爆火了一把。

除了谷歌，來自$Meta Platforms(META.US)$、CMU的研究人員用了2年的時間，打造出史上最強的通用機器人智能體「RoboAgent」。

(相關資料圖)

不同的是，RoboAgent，僅在7500個軌跡上完成了訓練。

具體來說，RoboAgent在38個任務中，實現了12種不同的復雜技能，烘培、拾取物品、上茶、清潔廚房等等。

甚至，它的能力還能夠泛化到100種未知的場景中。

可以說，上得了廳堂，下得了廚房。

有趣的是，不論你怎么干擾它，RoboAgent依舊設法去完成任務。

RoboAgent究竟還能做什么？

烘焙、上茶、擦桌子全能手

首先，RoboAgent可以很流暢地拉開或關上抽屜。

雖然在打開時險些碰倒了酸奶，但動作的銜接上基本沒有卡頓，絲滑地完成了推拉的動作。

除了抽屜，RoboAgent還能輕松打開或關上微波爐的門。

但它沒有像人類一樣抓握把手，而是將自己卡進了把手與門之間的空隙中，再使力開合了微波爐的門。

同樣地，面對瓶瓶罐罐上的蓋子，RoboAgent也能精準拿捏，打開、蓋上——絕不拖泥帶水。

然而在廚房中，除了蓋著的調料罐，也有一些需要擰開的罐子，比如料酒和老干媽等等....

好在，對于各種拾取和放置類任務，RoboAgent基本是不在話下的。

視頻中，RoboAgent從抽屜里拿出東西、又或是把茶包放進杯子里，打開微波爐將碗放進去等。展示的便是RoboAgent能夠理解泡茶、加熱食物等任務中包含的一系列動作。

對以上九個動作進行排列組合，基本就可以覆蓋在廚房中一系列任務。

例如為烘焙做準備、打掃廚房、上菜湯、泡茶、收納餐具等。

為烘焙做準備時，首先要拉開抽屜，然后找到放在里面的黃油。找到后把黃油放到案板上，最后關上抽屜。

看起來RoboAgent這一系列動作的前后邏輯順序已經和真實的生活場景十分接近了。

但RoboAgent依舊不像人類一樣靈活，先不提人類有兩只手，可以一只手拿黃油，另一只手關抽屜。就算只用一只手，人類也可以拿著黃油的同時側手把抽屜推回去。而RoboAgent只能先把黃油放下，然后才去關抽屜。

看起來沒有那么靈活的樣子。

打掃廚房時，RoboAgent也是四步走：

先關上抽屜，再關上微波爐。然后從旁邊拿出一個毛巾，最后擦案板。

上菜湯時，RoboAgent先打開微波爐，然后從微波爐里拿出放在里面的碗。之后把碗放在桌子上，最后把微波爐關上。

但這里RoboAgent的表現就沒有那么讓人放心了。

只能說還好演示視頻中的碗是空的，如果真讓RoboAgent這樣在現實中拿裝了食物的碗盆，估計它剛拿起來食物就灑地到處都是了。

不過，RoboAgent對泡茶倒是得心應手：

先取開茶罐上的蓋子，從里面拿出茶包，然后把茶包精準降落在杯子里，最后撿起蓋子放回到罐子上。

但這離完美的一杯茶還差了一步：倒水。還是說RoboAgent是在請我們喝有茶香的空氣嗎？

縱觀上述RoboAgent的表現，雖然大部分任務都能順利完成，但只有一只手還是太不方便了。

希望Meta和CMU能多給RoboAgent安幾只手，這樣它就能同時干好幾件事，大大提高效率。

耗時2年，打造「通用機器人智能體」

Meta和CMU的研究人員希望，RoboAgent能夠成為一個真正的通用機器人智能體。

歷時2年，他們在不斷推進這一項目的前進。RoboAgent是多向研究的集合體，同時也是未來更多研究方向的起點。

在「通用機器人智能體」發(fā)展過程中，研究人員深受許多最近可泛化的機器人學習項目的啟發(fā)。

當前，在邁向通用機器人智能體路上，需要解決兩大難題。

一是，因果兩難。

幾十年來，擁有一個能夠在不同環(huán)境中操縱任意物體的機器人一直是一個遙不可及的宏偉目標。部分原因是缺乏數據集來訓練這種智能體，同時也缺乏能夠生成此類數據的通用智能體。

二是，擺脫惡性循環(huán)。

為了擺脫這種惡性循環(huán)，研究重點是開發(fā)一種有效的范式。

它可以提供一個通用智能體，能夠在實際的數據預算下獲得多種技能，并將其推廣到各種未知的情況中。

根據介紹，RoboAgent建立在以下模塊化和可補償的要素之上：

RoboPen：

利用商品硬件構建的分布式機器人基礎設施，能夠長期不間斷運行。

RoboHive：

跨仿真和現實世界操作的機器人學習統(tǒng)一框架。

RoboSet：一個高質量的數據集，代表不同場景中日常對象的多種技能。

MT-ACT：

一種高效的語言條件多任務離線模仿學習框架。它通過在現有機器人經驗的基礎上創(chuàng)建一個多樣化的語義增強集合來倍增離線數據集，并采用一種具有高效動作表示法的新型策略架構，以在數據預算范圍內恢復高性能策略。

動作分塊，全新架構MT-ACT

為了學習通用的操作策略，機器人必須接觸豐富多樣的經驗，包括各種技能和環(huán)境變化。

然而，收集如此廣泛的數據集的操作成本和現實挑戰(zhàn)，限制了數據集的總體規(guī)模。

研究人員的目標是通過開發(fā)一種范式來解決這些限制，該范式可以在有限的數據預算下學習有效的多任務智能體。

如下圖所示，Meta和CMU團隊提出了MT-ACT，即多任務動作分塊Transformer（Multi-Task Action Chunking Transformer）。

這一方法由2個階段組成：

第一階段：語義增強

RoboAgent通過創(chuàng)建RoboSet（MT-ACT）數據集的語義增強，從現有基礎模型中注入世界先驗。

由此產生的數據集，可在不增加人類/機器人成本的情況下，將機器人的經驗與世界先驗相乘。

然后，研究人員使用SAM分割目標對象，并將其語義增強為具有形狀、顏色和紋理變化的不同對象。

第二階段：高效的策略表示

生成的數據集是多模態(tài)的，包含豐富多樣的技能、任務和場景。

研究人員將動作分塊適應于多任務設置，開發(fā)出MT-ACT——一種新穎高效的策略表示，既能攝取高度多模態(tài)的數據集，又能在低數據預算設置中避免過度擬合。

如下，是MT-ACT策略的各個組成部分。

RoboSet數據集

研究的目標是建立一個數據高效的機器人學習范例，對此，研究人員將自己限制在一個凍結的、預先收集的小型但多樣化的數據集上。

為了捕捉行為多樣性，研究人員還在不同的廚房場景中，將不同的技能應用到不同的任務中。

在這個項目中，數據集 RoboSet（MT-ACT）由人類遠程操作收集的7500 條軌跡組成。

該數據集包含 12 種技能，橫跨多個任務和場景。

下圖顯示了，數據集中技能的分布情況。

雖然常用的「拾取-放置」技能在數據集中占40% ，但也包括豐富的接觸技能，如擦拭、蓋帽，以及涉及鉸接物體的技能（翻轉-打開、翻轉-關閉）。

研究人員在4個不同的廚房場景實例中收集整個數據集，這些場景中包含各種日常物品。

此外，團隊還將每個場景實例與不同變化的物體進行交換，從而讓每個技能接觸到多個目標物體和場景實例。

數據增強

由于收集的數據集無法滿足對場景和物體多樣性的需求，因此研究人員通過離線添加不同變化的場景來增加數據集，同時保留每個軌跡中的操縱行為。

基于最近在分割和局部重繪（inpainting）模型取得的進展，研究人員從互聯網數據中提煉出真實世界的語義先驗，以結構化的方式修改場景。

MT-ACT架構

MT-ACT的策略架構設計為一個有足夠容量的Transformer的模型，可以處理多模態(tài)多任務機器人數據集。

為了捕捉多模態(tài)數據，研究人員沿用了之前的研究成果，加入了將動作序列編碼為潛在風格嵌入式z的CVAE。

為了建立多任務數據模型，研究采用了預訓練的語言編碼器，該編碼器可學習特定任務描述的嵌入。

為了減少復合誤差問題，在每個時間步預測未來H步的行動，并通過對特定時間步預測的重疊行動進行時間平滑來執(zhí)行。

另外，為了提高對場景變化的穩(wěn)健性，研究人員通過4個拍照角度為MT-ACT策略提供了工作空間的四個不同視圖。

Transformer編碼器以當前的時間步長、機器人的當前關節(jié)姿態(tài)、CVAE 的風格嵌入z，以及語言嵌入T作為輸入。

然后，再使用基于FiLM的調節(jié)方法，以確保圖像token能夠可靠地集中在語言指令上，從而在一個場景中可能存在多個任務時，MT-ACT策略不會對任務產生混淆。

編碼后的token將進入具有固定位置嵌入的Transformer策略解碼器，最終輸出下一個動作塊（H個動作）。

在執(zhí)行時，研究人員會對當前時間步預測的所有重疊操作，取平均值（當H > 1時，行動塊會重疊），并執(zhí)行產生平均后的行動。

少量數據，趕超谷歌RT-1

MT-ACT策略在真實世界表現如何？

研究人員通過實驗評估了提出的框架樣本效率，以及智能體在不同場景中的通用性。

下圖，將MT-ACT策略與常用的模仿學習架構進行了比較。

研究人員只繪制了L1泛化的結果，因為這是大多數其他模仿學習算法使用的標準設置。

從圖中可以看出，所有只模擬下一步行為（而不是子軌跡）的方法都表現不佳。

在這些方法中，研究人員發(fā)現基于動作聚類的方法（BeT）在多任務設置中的表現要差得多。

此外，由于研究采用的是低數據機制，需要大量數據的類似RT1的方法在這種情況下表現不佳。

相比之下，MT-ACT策略使用動作檢查對子軌跡進行建模，其表現明顯優(yōu)于所有基線方法。

圖7（右下）顯示了跨多個泛化級別（L1，l2和 L3）的所有方法的結果。

此外，研究人員還分別報告了每種活動的泛化結果。從圖8中可以看到，每種語義增強方法都對每種活動的性能產生了積極影響。

最后，研究人員還利用不同的設計來對架構進行了研究，比如動作表示塊的大小、可塑性、穩(wěn)健性。

編輯/tolk

關鍵詞：