每經記者 鄭雨航    每經編輯 段煉 蘭素英    

如今，人工智能（AI）浪潮正以前所未有的速度重塑世界，隨之而來的安全和倫理問題也日益受到關注，如何平衡創新與風險成為了業內關注的焦點。

8月底，AI巨頭OpenAI和Anthropic與美國AI安全研究所（AI Safety Institute）達成了一項歷史性協議，允許美國政府在其發布全新的重要AI模型之前先進行嚴格的安全測試。美國AI安全研究所是在拜登政府去年10月發布的首個AI行政命令下成立的，旨在通過新的安全評估、制定公平和公民權利指導方針，以及研究AI對勞動力市場的影響，來管理AI的未來發展。

OpenAI首席執行官薩姆·奧特曼（Sam Altman）稱，這一協議的達成是“歷史性的重要一步”，體現了行業對安全性和負責任創新的承諾。美國AI安全研究所所長伊麗莎白·凱利（Elizabeth Kelly）表示，這只是一個起點，但卻是負責任地管理AI未來的重要里程碑。

針對這兩家領先的AI初創公司所達成的協議以及AI領域的安全和未來發展問題，《每日經濟新聞》記者專訪了圖靈獎獲得者、被稱為“AI教父”的加拿大計算機科學家Yoshua Bengio，進行深入解讀。

Yoshua Bengio是深度學習領域的先驅之一，與Geoffrey Hinton和Yann LeCun共同獲得了2018年的圖靈獎，被業界譽為“深度學習三巨頭”。Bengio不僅對前沿技術有著深刻的理解，更對AI的發展方向、潛在風險以及社會影響有著獨到的見解。2023年8月，Bengio被任命為聯合國技術進步科學顧問委員會成員并擔任加拿大高級研究院（CIFAR）AI主席。2024年，Bengio入選《時代》雜志全球100位最具影響力人物年度榜單。?

圖片來源：Yoshua Bengio個人網站

確保AI安全須解決兩大挑戰

NBD：您如何看待最近OpenAI和Anthropic與美國AI安全研究所的合作？這是否會成為AI治理方面的一種更廣泛趨勢？

Bengio：除OpenAI和Anthropic外，還有其他公司已經承諾與英國政府的AI安全研究所私下分享他們的最新模型。考慮到OpenAI和Anthropic都是美國公司，他們對美國政府采取同樣的做法也是理所應當的。

NBD：要確保AI系統的安全開發和部署，尤其是在企業和政府合作的情況下，您認為需要解決哪些最關鍵的挑戰？

Bengio：站在更高的角度看，我們需要解決兩個挑戰。

首先是技術層面，我們需要開發能夠在AGI（通用人工智能，相當于普通人類水平）或ASI（超級人工智能，即超越人類水平）階段仍然有效的安全技術，包括對危險能力的評估、檢測和緩解，以及設計可控且保證安全的AI系統。

其次是政治層面，我們需要全球范圍內的協調，以確保所有國家和公司在開發最強大的AI系統時，遵循最佳的安全實踐，避免人類失去控制的災難性后果。并且，要達成最佳的安全和治理協議，以確保某些人不會濫用AGI的力量為自己謀利，而犧牲其他許多人的利益。

NBD：不同地區在監管方式上也會有所不同，在您看來，促進AI治理國際合作的最有效方法是什么？

Bengio：國際協調對于避免未來幾年或幾十年人類可能面臨的兩種最危險情況至關重要：一是權力集中于少數人手中，他們將通過控制ASI來控制全人類；二是人類失去對ASI的控制，而ASI的目標是自我保護（這可能與人類目標相沖突并導致人類滅絕），從而危及人類的生存。

為了避免這些情況，必須讓世界各地的更多人和政府了解這些風險。我們需要類似于核武器（監管）條約的國際條約。而考慮到各國/地區之間的軍事和地緣政治競爭，必須要有足夠的驗證技術（來證明其危險），促進條約的有效實施，我認為只要專注這方面的發展，這是幾年內是可以實現的。

AI安全不能靠企業“自覺”

“AI教父”提出三大關鍵舉措

NBD：您如何看待學術研究對AI治理行業的影響或指導作用？可以采取哪些措施來加強研究與實際實施之間的聯系？

Bengio：在AI安全方面，企業之間存在著內在的利益沖突。它們之間競爭激烈，為了生存，它們不得不在安全方面偷工減料，以犧牲公共安全為代價，在商業上取得領先地位。它們有動機隱瞞風險和事故，并拒絕監管。因此，必須有一大批獨立學者參與AI安全研究以及前沿AI系統的評估和審計。

NBD：展望未來，在技術快速進步的背景下，您認為有哪些額外的研究或舉措可以進一步推進AI的安全和治理？

Bengio：在科學技術層面上，我們需要更好的風險評估方法。例如，能力評估，可以檢測前沿人工智能的潛在危險；更好的AI設計方法可以為我們提供一些定量的安全保證（目前我們還沒有）；建立硬件化的AI芯片使用跟蹤、許可和驗證機制，支持國際條約驗證。

在治理和政治層面上，全球需要提高對AI風險的認識，尤其是對災難性風險的認識。應對這些風險的措施應讓每個國家的每個人都團結起來，因為我們都是人類，大多數人都希望看到自己的孩子過上好日子，人類繼續繁榮昌盛。

另外，全球需要對開發最強大AI系統的AI實驗室進行國家監管，引入有關其AI安全計劃、工作和事故報告（包括舉報人保護）透明度，以及遵守國家和國際AI安全標準的激勵措施。

加利福尼亞州提出的SB-1047法案就是一個很好的例子。（注：該法案要求訓練模型的公司在部署超過一億美元成本的大型模型前，進行風險評估。Bengio等一群在計算機領域聲名顯赫的功勛學者教授們在8月時曾聯名簽署公開信，對此表示支持。他們聲稱這項立法是“有效監管這項技術的最低標準”。）

NBD：您剛才提到國際條約，能再具體介紹一下嗎？

Bengio：關于AGI發展的國際條約，應該包括幾個關鍵方面。

首先，各國需要強制執行國家層面的監管，盡管各國的具體監管方式可能有所不同，但所有措施都必須以保護公眾和全人類免受災難性風險為基礎。

其次，這些條約還應促進全球范圍內的財富重新分配，以確保AGI所創造的財富能夠惠及各國，特別是低收入和中等收入國家，從而激勵它們加入并遵守條約。

與此同時，各國應在AI安全標準和研發方面加強國際合作，以統一和提升全球AI安全水平。

最后，這些條約還應允許像聯合國這樣的中立全球機構通過遠程跟蹤和驗證技術，對與全球災難性風險相關的條約執行情況進行監督和核實，以確保全球合作的有效性和公正性。

記者|鄭雨航 岳楚鵬（實習）

編輯|段煉 蘭素英 杜恒峰

校對|王月龍

｜每日經濟新聞 ?nbdnews??原創文章｜

未經許可禁止轉載、摘編、復制及鏡像等使用