每經記者 可楊    每經編輯 張海妮    

2024年6月14日，AI行業盛會“2024北京智源大會”在中關村展示中心開幕。《每日經濟新聞》在現場注意到，在全體大會中的主題討論環節，零一萬物CEO李開復與清華大學智能產業研究院院長、智源學術顧問委員張亞勤對談。

圖片來源：主辦方提供 

張亞勤談到了大模型的“三個做對了”和“三個目前需要改進”。

關于“三個做對了”，張亞勤提出：

首先，規模定律Scaling Law。規模定律的實現，主要得益于對海量數據的利用以及算力的顯著提升。再加上現在的Diffusion和Transformer架構能夠高效地利用算力和數據，使得“飛輪效應”得以正循環。盡管有人質疑Scaling Law在2~3年后是否仍然有效，但張亞勤個人認為至少在未來5年里，它仍將是產業發展的主要方向。

其次是“Token-Based”統一表述方式。在大模型中，“Token”是一個基本元素。無論是文本、語音、圖像、視頻，還是自動駕駛中的激光雷達信號，甚至是生物領域的蛋白質和細胞，最終都可以抽象為一個Token。Token之間的訓練、學習和生成是核心環節，這與我們大腦中的神經元工作原理相似，無論執行何種任務，其基礎機制都是相同的。

最后是通用性。這與Token緊密相關。現在的通用性不僅體現在文本處理上，還擴展到了多模態領域，甚至可以生成如蛋白質等復雜結構。此外，它在物理世界（如具身智能）和生物世界（如生物智能）中也有著廣泛的應用前景。

以上這三個是大模型做對的，而關于現階段的主要問題，張亞勤也提出了三個點：

第一個，效率較低。特別是大模型的計算效率低下問題，與人類大腦的高效性形成了鮮明的對比。人類大腦擁有860億個神經元，每個神經元又有數千個突觸連接，卻只需要20瓦的能量，重量還不到三斤；而GPT4這個萬億參數模型則需要巨大的算力和能源，與人腦相比相差1000倍之多。此外，人腦能夠根據不同的情境靈活調用不同區域的神經元，而大模型卻每次輸入一個問題都要調用和激活幾乎大量參數。因此，如何借鑒人類大腦的計算方法，在降低計算耗能、提高效率方面進行探索和創新，是一個值得關注的方向。

第二個，大模型目前還未能真正理解物理世界，相關的推理能力、透明性以及幻覺等問題都還在深入研究中。有一個重要的問題是，即使我們的大模型做得再好，它在生成式表述與對真實世界的描繪之間仍存在矛盾。因此，我們需要探索如何將生成式的概率大模型與現有的“第一性原理”或真實模型、知識圖譜相結合。目前，雖然已經有了一些嘗試，如采用RAG技術或進行微調，并取得了一定的進展，但張亞勤認為這些方法并非根本解決方案。張亞勤預測，在未來五年內，將會有一個全新的架構出現，這個架構有望取代目前的Transformer和Diffusion模型。

第三個欠缺的地方是邊界問題。現在大模型無法知道“我不知道什么”，這是目前要解決的問題，是它的邊界效應。

封面圖片來源：主辦方提供