世界模型WHALE來了！

人類能夠在腦海中設想一個想象中的世界，以預測不同的動作可能導致不同的結果。受人類智能這方面的啟發，世界模型被設計用于抽象化現實世界的動態，并提供這種“如果……會怎樣”的預測。

因此，具身智能體可以與世界模型進行交互，而不是直接與現實世界環境交互，以生成模擬數據，這些數據可以用于各種下游任務，包括反事實預測、離線策略評估、離線強化學習。

世界模型在具身環境的決策中起著至關重要的作用，使得在現實世界中成本高昂的探索成為可能。為了促進有效的決策，世界模型必須具備強大的泛化能力，以支持分布外（OOD）區域的想象，并提供可靠的不確定性估計來評估模擬體驗的可信度，這兩者都對之前的可擴展方法提出了重大挑戰。

近日，來自南京大學、南棲仙策等機構的研究者在論文中引入了WHALE（World models with beHavior-conditioning and retrAcing-rollout LEarning），這是一個用于學習可泛化世界模型的框架，由兩種可以與任何神經網絡架構普遍結合的關鍵技術組成。

在確定策略分布差異是泛化誤差的主要來源的基礎上，研究者引入了一種行為—條件（behavior-conditioning）技術來增強世界模型的泛化能力，該技術建立在策略條件模型學習的概念之上，旨在使模型能夠主動適應不同的行為，以減小分布偏移引起的外推誤差。此外，研究者還提出了一種簡單而有效的技術，稱為retracing-rollout，以便對模型想象進行有效的不確定性估計，作為一種即插即用的解決方案，可以有效地應用于各種實施任務中的末端執行器姿態控制，而無需對訓練過程進行任何更改。

通過整合WHALE的這兩種技術，研究者提出了WHALE-ST，這是一種可擴展的基于時空transformer的世界模型，旨在實現更有效的決策。研究者進一步提出了WHALE-X，這是一個在970K機器人演示上預訓練的414M參數世界模型。最后，研究者進行了大量的實驗，以證明WHALE-ST和WHALE-X在模擬和現實世界任務中的卓越可擴展性與泛化性，突出了它們在增強決策方面的效果。

為了評估WHALE-X在實際物理環境中的泛化能力，研究團隊在ARX5機器人上進行了全面實驗。與預訓練數據不同，評估任務調整了攝像機角度和背景等，增加了對世界模型的挑戰。他們收集了每個任務60條軌跡的數據集用于微調，任務包括開箱、推盤、投球和移動瓶子，還設計了多個模型從未接觸過的任務來測試模型的視覺、運動和任務泛化能力。

結果顯示，WHALE-X在真實世界中展現出明顯的優勢：與沒有行為—條件的模型相比，WHALEX的一致性提高了63％，表明該機制顯著提升了OOD泛化能力；在97萬個樣本上進行預訓練的WHALE-X，比從零開始訓練的模型具有更高的一致性，凸顯了大規模互聯網數據預訓練的優勢；增加模型參數能夠提升世界模型的泛化能力，WHALE-X-base（203M）動態模型在三個未見任務中的一致性比率是77M版本的3倍。此外，視頻生成質量與一致性的結果一致。通過行為—條件策略、大規模預訓練數據集和擴展模型參數，三種策略結合，顯著提高了模型的OOD泛化能力，尤其是在生成高質量視頻方面。

關鍵詞：