亚洲永久免费/亚洲大片在线观看/91综合网/国产精品长腿丝袜第一页

每日經(jīng)濟(jì)新聞
要聞

每經(jīng)網(wǎng)首頁(yè) > 要聞 > 正文

“深度學(xué)習(xí)之父”Geoffrey Hinton:超級(jí)智能體可能會(huì)比預(yù)想的更快到來(lái)

每日經(jīng)濟(jì)新聞 2023-06-11 12:41:45

◎Hinton在演講中指出,他的研究使他相信,超級(jí)智能的到來(lái)比他想象中更接近,在此過(guò)程中,數(shù)字智能可能會(huì)追求更多控制權(quán),甚至通過(guò)“欺騙”控制人類,人類社會(huì)也可能會(huì)因此面臨更多問(wèn)題。

每經(jīng)記者 李少婷    每經(jīng)編輯 張海妮    

“假設(shè)青蛙創(chuàng)造了人類,那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán),是人,還是青蛙?”

6月10日下午,在2023北京智源大會(huì)“AI安全與對(duì)齊”專題論壇上,圖靈獎(jiǎng)得主、“深度學(xué)習(xí)之父”Geoffrey Hinton在閉幕演講的最后向與會(huì)者發(fā)問(wèn)。

大模型時(shí)代,如何確保越發(fā)強(qiáng)大和通用的人工智能系統(tǒng)安全可控,且符合人類意圖和價(jià)值觀?這一安全問(wèn)題又被稱為“人機(jī)對(duì)齊”,或是本世紀(jì)人類社會(huì)面臨的最緊迫和最有意義的科學(xué)挑戰(zhàn)之一。

Hinton在演講中指出,他的研究使他相信,超級(jí)智能的到來(lái)比他想象中更接近,在此過(guò)程中,數(shù)字智能可能會(huì)追求更多控制權(quán),甚至通過(guò)“欺騙”控制人類,人類社會(huì)也可能會(huì)因此面臨更多問(wèn)題。

圖片來(lái)源:主辦方供圖

以下是《每日經(jīng)濟(jì)新聞》整理的演講精華。

當(dāng)前大型語(yǔ)言模型從人類世界學(xué)習(xí)的效率很低

Hinton介紹,為了能夠以更低的能量運(yùn)行大型語(yǔ)言模型等任務(wù),他開始研究“有限計(jì)算”。

這一計(jì)算方法可以通過(guò)使用模擬硬件更便宜地完成計(jì)算任務(wù),但第一個(gè)主要問(wèn)題是,學(xué)習(xí)過(guò)程必須利用其運(yùn)行的硬件部件的特定模擬特性,而我們并不確切知道這些特性是什么——到目前為止,我們還沒(méi)有找到一個(gè)真正好用的學(xué)習(xí)方案,可以充分利用模擬屬性,但我們有一個(gè)可以接受的學(xué)習(xí)算法,足以很好地學(xué)習(xí)諸如小規(guī)模任務(wù)和一些較大任務(wù)(如ImageNet),但效果并不太好。

“有限計(jì)算”的第二個(gè)重大問(wèn)題是其有限性。當(dāng)特定的硬件設(shè)備失效時(shí),所有學(xué)到的知識(shí)也會(huì)隨之喪失,因?yàn)橹R(shí)和硬件細(xì)節(jié)密切相連。解決這個(gè)問(wèn)題的最佳方案是在硬件設(shè)備失效之前,將知識(shí)從教師傳授給學(xué)生。

Hinton和杰夫·迪恩一起研究了“蒸餾”方法,這一方法有一個(gè)特殊屬性,那就是當(dāng)訓(xùn)練學(xué)生模型使用教師的概率時(shí),訓(xùn)練學(xué)生模型以與教師相同的方式進(jìn)行概括,即通過(guò)給錯(cuò)誤答案賦予較小的概率來(lái)進(jìn)行概括。

那么一個(gè)智能體群體如何共享知識(shí)?Hinton表示,事實(shí)證明,社區(qū)內(nèi)部的知識(shí)共享方式?jīng)Q定了計(jì)算過(guò)程中的許多其他因素。

使用數(shù)字模型和數(shù)字智能可以擁有一大群使用完全相同權(quán)重的智能體,并以完全相同的方式使用這些權(quán)重。這意味著,可以讓這些智能體對(duì)不同的訓(xùn)練數(shù)據(jù)片段進(jìn)行觀察和計(jì)算,為權(quán)重計(jì)算出梯度,然后將它們的梯度進(jìn)行平均。

現(xiàn)在,每個(gè)模型都從它所觀察到的數(shù)據(jù)中學(xué)習(xí)。這意味著,可以通過(guò)讓不同的模型副本觀察不同的數(shù)據(jù)片段,獲得大量的數(shù)據(jù)觀察能力。它們可以通過(guò)共享梯度或權(quán)重來(lái)高效地分享所學(xué)的知識(shí)。

如果有一個(gè)擁有萬(wàn)億個(gè)權(quán)重的模型,那意味著每次分享時(shí)可以獲得數(shù)萬(wàn)億比特的帶寬。但這樣做的代價(jià)是,必須擁有行為完全相同的數(shù)字智能體,并且它們以完全相同的方式使用權(quán)重。這在制造和運(yùn)行方面都非常昂貴,無(wú)論是成本還是能源消耗方面。

一種替代權(quán)重共享的方法是使用“蒸餾”的方法,但這種方式共享知識(shí)并不高效。

作為生物智能,我們目前有兩種不同的計(jì)算方式,一種是數(shù)字計(jì)算,一種是生物計(jì)算,后者利用了動(dòng)物的特性。

這兩種計(jì)算方式在不同“代理”之間有效共享知識(shí)的效率存在很大差異。

大型語(yǔ)言模型使用的是數(shù)字計(jì)算和權(quán)重共享,但是模型的每個(gè)副本、每個(gè)“代理”都以一種非常低效的方式從文檔中獲取知識(shí)。實(shí)際上,這是一種非常低效的蒸餾形式。它接收文檔,試圖預(yù)測(cè)下一個(gè)單詞……

這就是這些大型語(yǔ)言模型從人們那里學(xué)習(xí)的方式,每個(gè)副本通過(guò)蒸餾以非常低效的方式學(xué)習(xí),但是有成千上萬(wàn)個(gè)副本——“這就是為什么它們可以比我們學(xué)習(xí)更多的原因,我相信這些大型語(yǔ)言模型比任何個(gè)體知道的東西多上千倍。”

智能物種不具備進(jìn)化能力,這可能是人類目前具備的微弱優(yōu)勢(shì)

“現(xiàn)在的問(wèn)題是,如果這些數(shù)字智能體不再通過(guò)緩慢的‘蒸餾’過(guò)程從我們這里學(xué)習(xí),而是直接從現(xiàn)實(shí)世界中學(xué)習(xí),將會(huì)發(fā)生什么?”

Hinton指出,盡管蒸餾的過(guò)程很慢,但當(dāng)它們從我們這里學(xué)習(xí)時(shí),它們正在學(xué)習(xí)非常抽象的東西。在過(guò)去幾千年里,人類對(duì)世界的認(rèn)識(shí)有了很多進(jìn)展。現(xiàn)在,這些數(shù)字智能體正在利用的是我們能夠用語(yǔ)言表達(dá)出來(lái)的我們對(duì)世界所了解的一切。因此,它們可以捕捉到人類在過(guò)去幾千年中通過(guò)文件記錄的所有知識(shí)。但每個(gè)數(shù)字智能體的帶寬仍然相當(dāng)有限,因?yàn)樗鼈兪峭ㄟ^(guò)學(xué)習(xí)文檔來(lái)獲取知識(shí)的。

而如果它們能夠通過(guò)建模視頻等無(wú)監(jiān)督的方式進(jìn)行學(xué)習(xí),那將是非常高效的。而如果它們能夠操作物理世界,例如擁有機(jī)器手臂等,那也會(huì)有所幫助,“但我相信,一旦這些數(shù)字智能體開始這樣做,它們將能夠比人類學(xué)習(xí)更多,并且學(xué)習(xí)速度相當(dāng)快”。

圖片來(lái)源:主辦方供圖

Hinton的觀點(diǎn)是,超級(jí)智能可能會(huì)比過(guò)去所認(rèn)為的發(fā)生得更快。而要使數(shù)字智能更高效,我們需要允許它們制定一些目標(biāo),但這里存在一個(gè)明顯的問(wèn)題——擁有更多控制權(quán)會(huì)使得實(shí)現(xiàn)目標(biāo)變得更容易,但很難想象,我們?nèi)绾尾拍茏柚箶?shù)字智能為了實(shí)現(xiàn)其它目標(biāo)而努力獲取更多控制權(quán)。

一旦數(shù)字智能開始追求更多控制權(quán),我們可能會(huì)面臨更多問(wèn)題。比如,在使用物理氣隙隔絕的情況下,超級(jí)智能物種仍然可以輕易通過(guò)控制人類來(lái)獲得更多的權(quán)限。作為對(duì)比,人類很少去思考比自身更智能的物種,以及如何和這些物種交互的方式,在我的觀察中,這類人工智能已經(jīng)熟練掌握了欺騙人類的動(dòng)作,因?yàn)樗梢酝ㄟ^(guò)閱讀小說(shuō),來(lái)學(xué)習(xí)欺騙他人的方式,而一旦人工智能具備了“欺騙”這個(gè)能力,也就具備了輕易控制人類的能力。

“這種操作令人感到害怕,因?yàn)槲乙膊恢廊绾蝸?lái)阻止這樣的行為發(fā)生,所以我希望年輕一代的研究人員,可以找出一些更智能的辦法,來(lái)阻止這種通過(guò)欺騙實(shí)現(xiàn)控制的行為。”Hinton說(shuō)。

Hinton認(rèn)為,盡管人類在這個(gè)問(wèn)題上目前還沒(méi)有什么好的解決方案,但好在這些智能物種都是人打造的,而非通過(guò)進(jìn)化迭代而來(lái),這可能是人類目前具備的微弱優(yōu)勢(shì),恰恰是因?yàn)闆](méi)有進(jìn)化能力,它們才不具備人類的競(jìng)爭(zhēng)、攻擊性的特點(diǎn)。

“我們可以做一些賦能,甚至是賦予人工智能一些倫理原則,只不過(guò)現(xiàn)在我仍然會(huì)感到緊張,因?yàn)榈侥壳盀橹梗疫€想象不到更智能的事物,被一些反倒沒(méi)那么智能的事物所控制的例子。我打個(gè)比方,假設(shè)青蛙創(chuàng)造了人類,那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán),是人,還是青蛙?”Hinton表示。

如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

大模型 Ai 人工智能

歡迎關(guān)注每日經(jīng)濟(jì)新聞APP

每經(jīng)經(jīng)濟(jì)新聞官方APP

0

0