讓人類成功過渡到一個擁有超級智能的世界，可能是有史以來最重要、最有希望、最可怕的項目。

來源丨創業邦（ID：ichuangyebang）

編輯丨及軼嶸

(資料圖)

近日，ChatGPT之父阿爾特曼在OpenAI官網發布了他對AGI（通用人工智能）的看法和未來的計劃。

阿爾特曼說，AGI可能帶來嚴重的濫用、重大事故和社會混亂的風險。OpenAI希望通過制定一些原則來確保AGI的好處最大化，并控制它的潛在風險。原則包括：

*讓AGI成為放大器，促進人類最大程度繁榮；

*確保AGI的訪問權和治理得到廣泛和公平的分享；

*通過部署功能較弱的版本來不斷學習和適應，減少押寶“一次性成功”。

阿爾特曼說，成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。AGI距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結起來。

以下是創業邦整理的全文，內容經編輯處理：

我們的使命是確保AGI（即比人類更聰明的AI系統）能夠造福全人類。

如果AGI得以成功創建，這項技術可以通過增加豐富度、賦能全球經濟、以及助力發現能帶來無限可能的科學新知，來幫助人類提升能力。

AGI有賦予每個人不可思議的新能力的潛力。我們可以想象有這樣一個世界，所有人都可以獲得幾乎所有認知的幫助，為人類的才智和創造力提供巨大的力量倍增器（force multiplier）。

但另一方面，AGI也會產生嚴重的濫用、重大事故和社會混亂的風險。由于AGI對社會產生的價值如此之高，我們認為，永久性地終止它的發展是不可能的，也是不可取的。相反，社會和AGI的開發者必須想辦法把事情做對。

雖然我們無法準確預測會發生什么，而且目前的進展也可能會受挫，但我們可以闡明我們最關心的原則：

我們希望AGI能夠為人類在宇宙中最大程度的繁榮賦能。我們不希望未來是一個不合格的烏托邦，我們希望將好的方面最大化，將壞的方面最小化，讓AGI成為人類的放大器。

我們希望AGI的好處、訪問權和治理得到廣泛和公平的分享。

我們希望能夠成功地應對那些巨大的風險。在面對這些風險時，我們承認，理論上看似正確的事情，在實踐中往往比預期更奇怪。我們認為，我們必須通過部署功能較差的版本來不斷學習和適應，最大程度地減少指望獲得“一次性成功”（one shot to get it right）的情況。

為了迎接AGI，我們認為現在有幾件事非常重要。

第一，隨著我們不斷創建更強大的系統，我們希望部署它們，并獲得在真實世界中操作它們的經驗。我們相信這是謹慎導入和管理AGI的最佳方式——逐漸過渡到AGI世界比急速過渡要好。我們期望強大的AI能夠加速世界的進步，但我們認為一個逐步適應的過程更好。

漸進的過渡，讓民眾、政策制定者和機構有時間了解正在發生的事情，親身體驗系統的好處和缺點，讓經濟做出相應的調整，并實施監管。它還允許社會和AI共同進化，并允許大家在風險相對較低的情況下弄清楚自己想要什么。

目前，我們認為，成功應對AI部署挑戰的最佳方法，是采用快速學習和謹慎迭代的緊密反饋循環。社會將面臨一些重大問題，包括AI系統被允許做什么、如何應對偏見、如何處理工作崗位流失等。最佳決策將取決于所采用的技術路徑。與任何新領域一樣，目前為止大多數專家預測都是錯誤的。在真空中做規劃非常困難。

總體來說，我們認為世界更多地使用AI會帶來好處，我們希望推廣它（通過將模型放入API，將它們開源等）。我們相信，民主化的訪問權也會帶來更多和更好的研究、分散的權力、更多的益處，以及更多的人會貢獻新的想法。

隨著我們的系統越來越接近AGI，我們對模型的創建和部署變得越來越謹慎。相較于社會通常對新技術應用的態度，以及許多用戶的希望，我們的決定更加謹慎。AI領域的一些人認為AGI（和后繼系統）的風險是虛構的。如果結果證明他們是對的，我們會很高興，但我們會把風險當作真實的存在。

在某些時候，利弊之間的平衡可能會發生變化。比如，在發生授權惡意行為者、造成社會和經濟破壞以及加速不安全的競賽的情況下，我們將實質性地改變我們的部署計劃。

其次，我們正在創建更加一致和可控的模型。一個早期的例子是我們從GPT-3的第一個版本到InstructGPT和ChatGPT的轉變。

我們認為重要的是，社會就使用AI的極其廣泛的邊界達成共識，在這些邊界內，個人用戶有很大的自由裁量權。我們最終的希望是全世界的機構就這些廣泛的邊界應該在哪里達成一致。但在短期內，我們計劃對外部輸入進行實驗。世界上的機構需要加強其能力和經驗，以便為有關AGI的復雜決策做好準備。

我們產品的“默認設置”（default setting）可能會相當克制，但我們計劃讓用戶能夠輕松地更改他們正在使用的AI的行為。讓每個人自己做決定，觀念多樣性有巨大的內在力量，這兩點是我們的信仰。

隨著我們的模型日益強大，我們需要開發新的對齊技術（alignment technology）。我們的短期計劃是使用AI來幫助人類評估更復雜的模型的輸出，并監控復雜系統。從長遠看，使用AI來幫助我們提出新的想法，以實現更好的對齊技術。

重要的是，我們認為經常需要在AI安全和能力兩方面共同進步。將它們分開討論是錯誤的二分法，因為在很多方面它們是相關的。我們最好的安全工作來自與我們最有能力的模型一起工作。換句話說，提高安全與能力進步的比率很重要。

第三，我們希望就三個關鍵問題開展全球對話：如何治理這些系統，如何公平分配它們產生的收益，以及如何公平共享訪問權限。

除此之外，我們還嘗試以一種讓我們的激勵與良好結果保持一致的方式來建立我們的架構。我們的章程中有一個條款是關于協助其它組織提高安全性，而不是在后期AGI開發中與他們競爭。我們對股東獲得的回報設定了上限，這樣我們就不會冒險和無節制地獲取價值。我們有一個非營利組織來管理我們自己，讓我們為人類的利益而經營（并且可以凌駕于任何營利利益之上），包括讓我們做一些事情，比如在安全需要的情況下，取消我們對股東的股權義務，并資助世界上最全面的UBI（Universal Basic Income，普遍基本收入）實驗。

我們試圖完善我們的架構，以便讓激勵措施與良好結果保持一致。

我們認為在發布新系統之前提交獨立審計是很重要的。我們將在今年晚些時候更詳細地討論這個問題。在某些情況下，在開始訓練未來系統之前獲得獨立審查可能很重要，最終，同意限制用于創建新模型的計算能力的增長率。我們認為一些關于AGI的公共標準很重要，包括何時應停止訓練、確定模型可以安全發布，或從生產使用中撤出模型。最后，我們認為重要的是世界主要國家的政府對超過一定規模的訓練有洞察力。

我們認為人類的未來應該由人類自己來決定，而且與公眾分享進展的信息非常重要。所有試圖建立AGI的努力都應該接受嚴格的審查，重大決策需要進行公眾咨詢。

第一個AGI將只是智能連續體上的一個點。我們認為進展很可能會從那里繼續下去，可能會在很長一段時間內保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個錯位的超級智能AGI可能會對世界造成嚴重的傷害；一個擁有超級智能的不好的政體也會導致這種情況發生。

有足夠能力加速自身進步的AGI，可能會導致重大的變化以驚人的速度出現（即使過渡開始緩慢，我們預計它在最后階段也會很快發生）。我們認為慢慢起飛，安全更容易得到保證。而且，在關鍵時刻如何協調讓AGI各方共同減速可能很重要（即使在不需要這樣做來解決技術對齊問題的世界中，也要給社會足夠的時間來適應）。

成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。距離成功還很遙遠，但賭注之大（好處和壞處都是無限的）有望讓我們所有人團結起來。

我們可能進入一個繁榮程度無法想象的世界。我們希望為世界貢獻一個與這種繁榮相一致的通用人工智能。

原文：https://openai.com/blog/planning-for-agi-and-beyond/