ChatGPT核心研發(fā)科學(xué)家演講：有些智能可能永遠(yuǎn)不會(huì)出現(xiàn)在數(shù)據(jù)中

12月12日，在北京中關(guān)村科金技術(shù)有限公司主辦的“2024大模型技術(shù)與應(yīng)用創(chuàng)新論壇”上，ChatGPT核心研發(fā)科學(xué)家、前OpenAI研究員肯尼斯·斯坦利（Kenneth Stanley）分享了他對大模型及AI產(chǎn)業(yè)發(fā)展的前瞻思考。

在演講中，斯坦利表示，如果Scaling law真的在放緩，那么數(shù)據(jù)缺乏可能是重要原因。但如果人類只是沿著Scaling law路線，不斷擴(kuò)展數(shù)據(jù)、算力，可能還無法達(dá)到達(dá)到AGI的水平。

斯坦利指出，今天的大模型都是基于文本訓(xùn)練而來，但是有些對于智能而言很重要的東西，比如人類直覺，永遠(yuǎn)不會(huì)存在于文本之中，因此大模型可能需要架構(gòu)上的創(chuàng)新，才能實(shí)現(xiàn)新的智能突破。

斯坦利坦承，今天大模型確實(shí)在放大人類能力，但是它仍然需要解決嚴(yán)重的幻覺問題。一旦幻覺問題解決，各種新機(jī)遇新事物將會(huì)隨之涌現(xiàn)。

中關(guān)村科金是一家大模型技術(shù)與應(yīng)用公司，在本次論壇上發(fā)布了平臺＋應(yīng)用＋服務(wù)的“三級引擎戰(zhàn)略”，同時(shí)發(fā)布了升級后的得助大模型平臺2.0，并已與各行業(yè)機(jī)構(gòu)一起構(gòu)建了200+大模型應(yīng)用，覆蓋智能營銷、智能客服、智能運(yùn)營和知識管理四大核心場景。

以下是Kenneth Stanley演講全文，enjoy：

大家好，我是肯尼斯·斯坦利（Kenneth Stanley）。很高興能有這個(gè)機(jī)會(huì)和大家聊聊當(dāng)今人工智能的現(xiàn)狀。我想先感謝主辦方舉辦本次論壇，讓我們借此機(jī)會(huì)探討如此有趣的話題。

我先向大家稍作自我介紹，有些人可能還不認(rèn)識我，對我的來歷頗感興趣。我從事人工智能研究已經(jīng)很多年了，最初是做學(xué)術(shù)研究，但也接觸過很多行業(yè)方面的知識。

我一開始的工作是在佛羅里達(dá)州做大學(xué)教授，后來創(chuàng)立了一家名為Geometric Intelligence的公司，在那里我擔(dān)任聯(lián)合首席科學(xué)官。這家公司后來被Uber收購，成了如今的Uber AI。所以，我們算是Uber AI部門的開端。我負(fù)責(zé)該部門的核心基礎(chǔ)研究組件多年，直到我去了OpenAI，帶領(lǐng)Open-endedness團(tuán)隊(duì)。最近我又創(chuàng)立了一家新公司Maven，專注于人工智能社交網(wǎng)絡(luò)，但我實(shí)際上已經(jīng)離開了那家公司。

因此，我在這張圖里打了個(gè)問號，因?yàn)槲医酉聛硪鍪裁吹迷谖磥聿拍苤馈５裉煳覍⒅饕懻撊斯ぶ悄茴I(lǐng)域，該領(lǐng)域如今正在發(fā)生什么，以及我對這個(gè)領(lǐng)域的看法。

缺少數(shù)據(jù)可能是scaling law撞墻原因

我認(rèn)為，目前一個(gè)重大的問題是scaling law。大家可能在媒體上聽說過，傳言說scaling law可能會(huì)失效，注意是可能會(huì)。我們還不確定，但它們可能將會(huì)遇到瓶頸。

如圖所示，這種scaling在放緩，大模型能力一直在上升。關(guān)鍵是要理解我們在這里所說的scaling law，就是當(dāng)我們給模型提供更多的數(shù)據(jù)和更多的計(jì)算資源時(shí)，依照過往的觀察，模型的性能或智能程度會(huì)有所提高。

這種趨勢對行業(yè)和整個(gè)世界來說都非常重要，因?yàn)槿绻@是真的，就意味著我們不需要任何新想法了。只要我們能夠持續(xù)有效地添加更多的數(shù)據(jù)和更多的計(jì)算資源，模型就會(huì)變得越來越智能，也許不需要任何重大突破就能達(dá)到AGI。

所以，這是非常重要的一個(gè)問題，這些事情是否開始出現(xiàn)效益遞減？目前媒體上盛行的傳言就是，效益遞減的情況發(fā)生了。

那么，阻礙我們的是什么？你可能會(huì)問，為什么我們不能一直擴(kuò)大規(guī)模呢？一種可能性是我們即將耗盡所有數(shù)據(jù)。世界上有巨量的數(shù)據(jù)，比如整個(gè)互聯(lián)網(wǎng)的數(shù)據(jù)，但從某種意義上說它仍然是有限的。至少在任何特定的一天，它是有限的。所以，也許這些數(shù)據(jù)不足以讓我們到達(dá)目的，比如達(dá)到AGI的水平。

如果你仔細(xì)想想，這個(gè)問題與Open-endedness相關(guān)。如果我們假設(shè)數(shù)據(jù)不夠，這是一個(gè)有待探討的問題，目前還不確定，但有可能發(fā)生。

我們可能需要生成更多的數(shù)據(jù)。那么，如何生成更多的數(shù)據(jù)？這就涉及到創(chuàng)造力，而我們需要理解Open-endedness才能獲得那種創(chuàng)造力。所以，這是我們可能面臨的一種情況。

（智能超參數(shù)注：在大模型領(lǐng)域，Open-endedness開放性，是指模型能夠處理和生成無限種可能的結(jié)果或回答，而不是局限于有限的預(yù)定義響應(yīng)。這意味著模型能夠理解和生成新穎的內(nèi)容，而不是僅僅回憶或重現(xiàn)訓(xùn)練數(shù)據(jù)中的模式。）

有些智能可能不存在文本之中

但有可能，這不僅僅是一個(gè)數(shù)據(jù)的問題。因?yàn)橛锌赡艽嬖谝恍χ悄苤陵P(guān)重要的東西，而它們根本不在數(shù)據(jù)本身之中，這就意味著我們可能需要新的架構(gòu)。

這就是右邊那張有點(diǎn)搞笑的試圖描繪的，它設(shè)想了一些瘋狂的新架構(gòu)，可能會(huì)是下一個(gè)重大突破。

下面也是一個(gè)重要問題，我們是否需要新的架構(gòu)。還是說基于當(dāng)前的Transformer架構(gòu)就足夠了呢？它是否足以讓我們達(dá)到人類水平的AGI，甚至超越AGI的超級智能？它夠嗎？有可能有一些屬于智能組成部分，它們并不存在于數(shù)據(jù)或架構(gòu)之中。

例如，人類擁有一些無法用言語表達(dá)的直覺，而這些直覺在某種程度上支撐著我們的智能。例如某些無法用言語表達(dá)的東西。

而目前的問題在于這些模型通常是用文字進(jìn)行訓(xùn)練的，它們處理的是文本。所以如果存在一些東西，我們知道很重要，但無法用言語表達(dá)。它們可能永遠(yuǎn)不會(huì)出現(xiàn)在數(shù)據(jù)中，因?yàn)樗鼈儫o法表達(dá)出來。

你可能會(huì)問什么樣的東西是無法用言語表達(dá)的呢？就舉一個(gè)虛構(gòu)的例子吧。想象一下作為人類并擁有人類智能的一個(gè)重要方面。是了解自己不知道怎么或者什么時(shí)候達(dá)到了自己的極限，就像是有一種觸及極限的直覺。

例如，如果我問你汽車是如何工作的？你可能會(huì)說因?yàn)橛邪l(fā)動(dòng)機(jī)和活塞等等。然后我接著問發(fā)動(dòng)機(jī)和活塞是怎么運(yùn)作的呢？如果我一直追問下去，最終你知道自己說不出答案了。你可能會(huì)跟我說，我不知道了。

這些大模型就做不到這一點(diǎn)，它們最終只會(huì)胡編亂造。如果你一直追問它們它們不會(huì)說“我不知道”。但有趣的是，很難解釋你是如何知道或不知道的，你真的無法用語言來表達(dá)。我怎么知道自己已經(jīng)達(dá)到極限了呢？沒有語言可以解釋那么模型又怎么會(huì)知道呢？因?yàn)槟Ｐ退鶎W(xué)的一切都是通過文字，所以有可能上述情況的存在。

這就需要對架構(gòu)進(jìn)行某種改變。

大模型沒有看到時(shí)間線，不懂技術(shù)演進(jìn)

另一個(gè)例子是圖中第二個(gè)點(diǎn)。時(shí)間順序以及它與新穎性、趣味性、創(chuàng)造性之間的關(guān)系。這在某種程度上與Open-endness相關(guān)。比如我們按時(shí)間順序體驗(yàn)各種想法的觀點(diǎn)，對促進(jìn)我們產(chǎn)生新想法很重要，因?yàn)槲覀冎朗裁词切路f的。

例如，如果你回到100年前，你有個(gè)可以把你從A地送到B地的箱子的點(diǎn)子。無論你在哪里，這個(gè)箱子可以在四個(gè)輪子上行駛，把你從A地送到B地。這個(gè)點(diǎn)子在100年前可能是很有趣的，但在今天2024年這個(gè)想法就不怎么有趣了。因?yàn)檫@只是汽車，汽車已經(jīng)不是什么新鮮事物，也沒什么趣味性了。

所以我們已經(jīng)了解了技術(shù)隨著時(shí)間在發(fā)生變化，并且我們也明白有趣的事物發(fā)生了演變，而如今模型比較奇怪，就是它們是批量訓(xùn)練的。所以它們一下子就能看到我想要的所有數(shù)據(jù)，就像它們會(huì)同時(shí)看到汽車、計(jì)算機(jī)和空間站。

每看到一個(gè)事物，大模型都會(huì)說這是個(gè)好主意，都會(huì)說時(shí)機(jī)合適。但大模型沒有看到時(shí)間線，大模型沒有看到想法的演變，大模型不是存在于某個(gè)特定的時(shí)間點(diǎn)上。奇怪的是它們會(huì)同時(shí)學(xué)習(xí)算術(shù)和微積分。

我的意思是，如果人類這樣做那可就太瘋狂了。我們頭腦中會(huì)有什么樣的表征呢？關(guān)于這個(gè)問題是否重要是有爭議的，但它可能是重要的。如果這個(gè)問題重要的話，我們可能需要新的架構(gòu)來解決這些問題，以便能夠構(gòu)建人類輕易就能擁有的這類直覺。

我只想說明一點(diǎn)，如果有人說我們需要新的架構(gòu)，這并不意味著我們需要把一切都扔掉然后重新開始。這兩個(gè)概念是不同的。

新架構(gòu)意味著我們可能需要修改現(xiàn)有的東西。問題是我們需要修改多少呢？而我們不知道是否需要全部修改或者做哪些修改。

但修改這件事是有可能的，但這并不一定意味著我們有必要重新開始。很多時(shí)候人們把這看成是二選一，要么我們把一切都扔掉重新開始，要么我們繼續(xù)向前推進(jìn)，實(shí)際情況并非如此。

可能我們只需利用所學(xué)，添加一些新的東西并做一些改變，但并不是完全拋棄舊的，所以有很多種可能性。目前沒有人知道我們是否真的需要這樣做。

大模型確實(shí)在放大人類能力

讓我們思考一下，即使沒有達(dá)到AGI的水平。即使只是利用現(xiàn)有的技術(shù)，很多事也會(huì)徹底改變。

要知道人類能力放大已經(jīng)實(shí)實(shí)在在地發(fā)生了。這是一個(gè)近期能抓住的機(jī)會(huì)。就是當(dāng)你讓大模型與人類一起合作，你會(huì)在創(chuàng)意領(lǐng)域擴(kuò)展人類想法。比如在編程、音樂、設(shè)計(jì)等方面，在任何人類現(xiàn)在能夠進(jìn)行設(shè)計(jì)的領(lǐng)域，大模型都能讓相關(guān)工作開展得更輕松。

實(shí)際上，我覺得非常有趣的是那些沒有技能的人，比如（這張里）在電腦前唱歌的人，他沒有技能和能力把自己頭腦中的想法轉(zhuǎn)化為現(xiàn)實(shí)世界中的實(shí)際成果。突然之間，這樣的人被賦能且能力得到了放大。

因?yàn)橛辛诉@些工具那些不會(huì)編程的人也能編寫程序，音樂外行也能創(chuàng)作音樂。此類情況數(shù)不勝數(shù)。就好像這個(gè)人通過電腦免費(fèi)得到了一整支樂隊(duì)的支持，這意味著，那些在過去原本沒有能力參與創(chuàng)意交流的人，現(xiàn)在也能參與其中了，這將會(huì)對各個(gè)領(lǐng)域產(chǎn)生巨大的影響。你可以想想自己內(nèi)心有哪些目前無法表達(dá)出來的東西，可能有很多，大模型會(huì)改變這些情況，并因此改變各個(gè)行業(yè)。

大模型的幻覺不是創(chuàng)造力

現(xiàn)在我們正在談?wù)摵芏鄤?chuàng)意方面的嘗試。我想我已經(jīng)暗示過也許當(dāng)今的人工智能實(shí)際上并沒有那么有創(chuàng)意。但你會(huì)問幻覺是一種創(chuàng)造力的表現(xiàn)形式嗎？

每個(gè)人都在談?wù)摶糜X，也就是模型在產(chǎn)生新想法方面存在的問題。這實(shí)際上就是大模型會(huì)撒謊，它們會(huì)說出錯(cuò)誤的內(nèi)容。

但有些人認(rèn)為這就類似于產(chǎn)生新想法，我認(rèn)為這是過于樂觀了。我不認(rèn)為幻覺是一種創(chuàng)造力的表現(xiàn)形式。因?yàn)槲矣X得重要的一點(diǎn)是，要想具備創(chuàng)造力就要分清哪些是自己之前聽過的和哪些是沒聽過的。例如如果你分不清哪些是自己之前聽過的，哪些是自己之前沒聽過的，你最終提出的想法就會(huì)是已經(jīng)存在的。

關(guān)于幻覺的這方面問題討論較少，我稱之為“創(chuàng)造性錯(cuò)覺”。也就是，我說某個(gè)東西好像是新的，但實(shí)際上我之前聽過，而大模型確實(shí)會(huì)這樣。比如，你讓它們提供一個(gè)新菜譜，有時(shí)它們會(huì)給出一個(gè)已經(jīng)存在的菜譜，即便你要求確保之前沒人想過這個(gè)菜譜，還是很有可能出現(xiàn)這種情況。

這不是因?yàn)樗谥匦掳l(fā)明創(chuàng)造，而是因?yàn)樗鋵?shí)只是產(chǎn)生了錯(cuò)覺。因?yàn)檫@個(gè)菜譜其實(shí)就在訓(xùn)練數(shù)據(jù)里，但它仍然認(rèn)為是自己想出了這個(gè)點(diǎn)子，我認(rèn)為這很糟糕。這實(shí)際上是幻覺的一種變體，所以我覺得要想最終解決創(chuàng)造力的問題我們得先解決幻覺問題，這只是我的看法。

多模態(tài)并沒有顯著提升智能

如今多模態(tài)正在興起，這意味著模型不再局限于文本。我之前已經(jīng)分享過，有些重要的直覺可能無法用文本體現(xiàn)，所以我們加入新的模態(tài)比如視覺、音頻等等。

這已經(jīng)在發(fā)生了。比如GPT-4o能生成視頻的Sora，它們是多模態(tài)模型。它們能處理不止一種模態(tài)的知識，這為各種出色的新應(yīng)用打開了大門。比如回答關(guān)于圖像的問題等等。

然而，目前的情況看來，多模態(tài)本身似乎并沒有從根本上把智能提升到一個(gè)新高度。換句話說GPT 4o實(shí)際上并沒有比GPT 4智能太多，可能多模態(tài)并非是達(dá)到人類水平智能的關(guān)鍵所在。

或許有其他更重要的因素，但仍有待探索。對于這個(gè)問題目前還沒有定論，我們?nèi)匀徊磺宄覀內(nèi)栽谔綄ぁ?/p>

解決幻覺，很多新事物將涌現(xiàn)

現(xiàn)在，我們來看看當(dāng)下的狀況。目前大模型存在幻覺問題，缺乏基本的創(chuàng)造力，雖然在不斷改善，但在推理方面仍存在問題。

因此，我們目前解決問題的著眼點(diǎn)主要是人們有實(shí)際付費(fèi)意愿的那些領(lǐng)域，比如低風(fēng)險(xiǎn)的藝術(shù)、視頻、音樂這類創(chuàng)意領(lǐng)域就很有吸引力，因?yàn)榫退愠鲥e(cuò)也不會(huì)有人喪命或破財(cái)。

但隨著我們向更成熟的應(yīng)用發(fā)展，我們希望像幻覺這樣的問題得到處理。如果幻覺問題得到處理或緩解，當(dāng)然，我們已經(jīng)看到幻覺問題在緩解了，各種新機(jī)遇新事物會(huì)隨之涌現(xiàn)。

那么如何做到呢？比如，擴(kuò)大參數(shù)規(guī)模可能會(huì)有幫助，比如OpenAI o1的推理能力提升，或者RAG技術(shù)的運(yùn)用。

據(jù)我所知，中關(guān)村科金在處理幻覺的問題上有其獨(dú)特的解決辦法，他們一直專注于運(yùn)用領(lǐng)域數(shù)據(jù)和知識，打造滿足特定場景需求的應(yīng)用。

因?yàn)槿绻Ｐ途哂泻軓?qiáng)的領(lǐng)域?qū)I(yè)性，就可以很好的減少幻覺問題。當(dāng)我們?nèi)〉眠@些進(jìn)展后，就有可能開發(fā)更多的智能應(yīng)用，比如合同撰寫、法律咨詢、醫(yī)療診斷、知識管理、智能客服、智能營銷等。

要知道，幻覺之所以對這些領(lǐng)域構(gòu)成阻礙，是因?yàn)樗谐鲥e(cuò)的風(fēng)險(xiǎn)。在有些領(lǐng)域，比如醫(yī)療診斷等，不出錯(cuò)至關(guān)重要。在上述所有領(lǐng)域，犯錯(cuò)越多，經(jīng)濟(jì)損失就越多甚至?xí)＜吧?。因此，如果我們減少這類問題，就能開拓新的應(yīng)用領(lǐng)域。

正如我剛才所說，推理能力已經(jīng)在提升，這一點(diǎn)從OpenAI o1及其他近期新進(jìn)展就能看出。隨著推理能力的提升，更多的應(yīng)用會(huì)不斷出現(xiàn)，比如問題解決、自動(dòng)編碼、機(jī)器人技術(shù)、設(shè)計(jì)等各類應(yīng)用。

那創(chuàng)造力呢？大模型何時(shí)才能達(dá)到與人類相當(dāng)?shù)乃侥兀磕强赡苓€比較遙遠(yuǎn)，我們得理解諸如新穎性和趣味性這類概念。

但話說回來，我們得到了些新應(yīng)用，完全不需要人類的參與，比如新科學(xué)理論、公司新創(chuàng)意、電影情節(jié)、發(fā)明創(chuàng)造等，巨大的價(jià)值正逐漸顯現(xiàn)。

但有趣的是，這些開始涌現(xiàn)的價(jià)值，正逐步取代人類最偉大的成就。這是一個(gè)非常奇特的地方。

未來的不確定性

因此，值得停下來思考一下，這意味著什么，即當(dāng)AI或AGI超越或等同于人類時(shí)，我們可以期待在健康、交通和能源等領(lǐng)域取得諸多突破，但同時(shí)也會(huì)帶來大規(guī)模的經(jīng)濟(jì)動(dòng)蕩，因?yàn)榈侥菚r(shí)誰還會(huì)擁有什么，誰能靠工作掙錢呢？

還會(huì)有工作崗位嗎？甚至上升到哲學(xué)問題的探討比如我們這么做的目的是什么？我們?nèi)祟惖膲粝胗质鞘裁茨?？如果?jì)算機(jī)能超越我們?nèi)祟惍?dāng)前所做的一切。

當(dāng)然，還有大模型被惡意利用的潛在危險(xiǎn)，甚至AI本身也可能做出有害之事。例如，AI可能試圖破壞社會(huì)甚至傷害人類。因此，隨著AI趨近人類水平會(huì)出現(xiàn)諸多問題，如一些絕佳的機(jī)遇，不確定性以及一些潛在的重大弊端。

事實(shí)上，沒人知道會(huì)發(fā)生什么，也不知道何時(shí)發(fā)生。我沒法告訴你將會(huì)發(fā)生什么。你或許希望我告訴你，但我做不到。因?yàn)榫湍壳暗那闆r來看，就連專家們也意見不一。這恰恰表明專家們也不清楚情況會(huì)怎樣。

我們根本不知道這種情況多快會(huì)出現(xiàn)。也不知道何時(shí)發(fā)生以及會(huì)出現(xiàn)什么結(jié)果，所以當(dāng)下存在諸多不確定性，我們都面臨著這些不確定性。必須開始以多種不同方式去應(yīng)對。

感謝你們的寶貴時(shí)間，如果你們愿意，可以隨時(shí)聯(lián)系我。我很樂意和你們討論。