我們離「機械姬」還有多遠？前OpenAI研究員讓AI克隆思想，模仿人類思維，邊思考邊行動。

編者按：本文來自微信公眾號 新智元（ID：AI_era），作者：新智元，創業邦經授權轉載。

(資料圖片)

當AI有了自主意識會如何？

「機械姬」中，艾娃利用人類的同情心，以欺騙的方式誘導人類獲得自由，最終殺了自己的「造物主」Nathan。

近來，在眾多網友的力薦下，Sam Altman終于看了這部電影。

并表示，「很好的電影，但我不明白為什么每個人都讓我看它?！?/p>

許多人或許想警示，這就是讓人工智能有了意識，通過圖靈測試的結果。

但我們離「機械姬」上映的那一幕還很遙遠，GPT-5可能在秘密研發中，讓AI有智慧仍是科學家集洪荒之力最想做的事。

這不，來自不列顛哥倫比亞大學的2位研究人員發現，智能體能夠像人類一樣思考有很多的優勢。

最新論文中，他們研究了智能體的「思想克隆」（TC）。

論文地址：https://arxiv.org/pdf/2306.00323.pdf

這里，人工智能通過模仿人類，學會像人類一樣「思考」和「行動」。

要知道，語言是區分人類和其他生物的關鍵。

因此，研究人員設想，如果智能體能夠理解語言，便會有很多的好處。

比如，幫助人類概括、推斷、適應新的情況、將新的方式結合已有的知識，探索、計劃、并在必要時重新計劃。

盡管有這些益處，但AI智能體卻很少思考，至少不是用人類語言去思考。

雖然神經網絡可以被認為是思考的內部向量激活，但許多人假設，以離散的、符號的語言進行思考具有特定的好處。

這意味著能夠用語言思考的智能體，可能比不用語言的智能體學習得更快，表現、概括得更好。

基于所有這些原因，增強AI智能體用語言思考的能力可以產生許多顯著的優勢。

Jeff Clune和Shengran Hu認為實現這一目標的最有效的方法是「讓AI模仿人類思考」。

他們發現，人類不會孤立地獲得思維技能，相反，他們一部分技能的獲得是通過他人示范和教師提供的反饋來學習的。

因此，一個有效的方法是，讓智能體從人類在行動時把想法說出的演示中進行學習。

這一方法不同于現有的用預訓練LLMs進行規劃的工作，因為這些LLMs沒有受過人類在行動時說出想法的數據進行訓練，即「思想數據」。

至于「思想數據」的來源，研究者選取了YouTube視頻和文字錄音，有大約數百萬小時，包含了人們行動、計劃、決定和重新規劃背后的思想。

論文中，研究人員提出了一個新穎的模仿學習框架「思想克隆」。其中，智能體不僅學習人類的示范行為，如行為克隆，而且學習人類行動同時的思考方式。

在思想克隆訓練框架中，智能體學習在每個時間步中產生思想，并隨后根據這些思想調整行動。

整體框架如圖所示，TC智能體是一個雙層架構：上層和下層組件。

在每個時間步中，智能體接收一個觀察、一個任務和一段思維歷史作為輸入。上層組件負責思想生成，下層組件產生以這些思想為條件執行操作。

然后，將生成的想法和行動與演示數據集中的基本事實進行比較，以計算損失。

雖然對于上層和下層組件的條件可能有不同的選擇，但在這項工作中，對于思維數據集中長度t的特定軌跡，研究人員將其最小化：

對于更復雜或大規模的場景，上層組件可以使用預訓練視覺語言模型（VLM）來實現，或者零樣本、微調。

而下層組件可以從頭開始訓練，或者從目標域中現有的語言條件控制器中改編。

論文中，研究人員基于BabyAI 1.1模型體系結構的兩個組件進行了研究。

該模型利用內存增強架構LSTM來解決部分可觀測性的挑戰。此外，它還采用FiLM進行模態融合，有效地結合了視覺和文本輸入。

這里，作者特別強調，本文中的所有模型都是從頭開始訓練的，但在復雜領域中還是使用預訓練模型更強。

如下圖，是BabyAI環境示例，左圖中包含了各種顏色的物品（球、鑰匙、盒子、門）。

智能體可以拿起、放下、移動物體或者開門和關門，而鎖住的門只能用顏色匹配的鑰匙打開。

智能體可以看到它前面的7×7的網格單元，這些網格單元是被墻壁和關閉的門阻擋。

「思想克隆」智能體的任務是，到達紫色的盒子（高亮顯示） ，并開始規劃了路線。

但是當它打開藍色的門時，準備完成任務，卻發現一個紫色的球擋住了去路。于是，思想克隆智能體再重新規劃。

由此可以看出，智能體的想法和行動表明，當遇到障礙時，先將其移除，并在繼續之前的目標前，重新計劃路線。

這一過程，就特別像艾娃如何一步一步策劃，讓人類最終相信并幫助自己，逃出囚禁已久的玻璃牢籠。

研究結果表明，「思想克隆」優于行為克隆。

此外，在零樣本和微調設置中，思想克隆在分布外的任務中比行為克隆優勢更大。

有趣的是，研究人員還開發了「預犯罪干預」，允許用戶在模型訓練后仍能定義不安全行為。

當檢測到危險的想法時，就能終止智能體。測試中，「預犯罪干預」的效果近乎完美，顯示了它在人工智能安全方面的潛力。

「思想克隆」不僅使人工智能更聰明，而且更安全，更容易理解。

就是說，當AI犯罪前，一切還有得救。

在Jeff Clune看來，「思想克隆」有助于人工智能的安全。

因為我們可以觀察到智能體的思想：（1）可以更容易地診斷出事情出錯的原因，（2）通過糾正智能體的思想來引導它，（3）或者阻止它做所計劃的不安全的事情。

作者介紹

Jeff Clune

目前，Jeff Clune是不列顛哥倫比亞大學計算機科學副教授。他主要研究深度學習，包括深度強化學習。

此前，他還是OpenAI研究團隊負責人，Uber人工智能實驗室的高級研究經理和創始成員。

此前，他和OpenAI團隊發布了視頻預訓練模型——VPT，讓AI在我的世界中從視頻數據中學習造石鎬。

Shengran Hu

目前是不列顛哥倫比亞大學的博士生，對深度學習，人工智能生成算法感興趣。

參考資料：

https://twitter.com/ericjang11/status/1665453341789536256