亚洲永久免费/亚洲大片在线观看/91综合网/国产精品长腿丝袜第一页

每日經濟新聞
要聞

每經網首頁 > 要聞 > 正文

開源大模型的“ChatGPT時刻”來臨!Meta發布最新AI大模型Llama 3.1,4050億參數版本在多項測試中性能均優于GPT-4o

每日經濟新聞 2024-07-24 11:11:45

◎ 開源大模型的“ChatGPT時刻”到來!Meta Llama 3.1-405B版本的推出意味著開發人員可以自由使用其“蒸餾”輸出來訓練小眾模型。數據顯示,該模型在多項AI基準測試中超越了GPT-4o。

每經記者 蔡鼎    每經編輯 蘭素英    

對于專注于構建專業人工智能(AI)模型的開發人員來說,他們面臨的長期挑戰是獲取高質量的訓練數據。較小的專家模型(參數規模在10億~100億)通常利用“蒸餾技術”,需要利用較大模型的輸出來增強其訓練數據集,然而,使用來自OpenAI等閉源巨頭的此類數據受到嚴格限制,因此大大限制了商業應用。

而就在北京時間7月23日(周二)晚間,全球AI領域的開發人員期待已久的開源大模型“ChatGPT時刻”終于到來——Meta發布最新AI模型Llama 3.1,其中參數規模最大的是Llama 3.1-405B版本。

扎克伯格將Llama 3.1稱為“藝術的起點”,將對標OpenAI和谷歌公司的大模型。測試數據顯示,Meta Llama 3.1-405B在GSM8K等多項AI基準測試中超越了當下最先進的閉源模型OpenAI GPT-4o。這意味著,開源模型首次擊敗目前最先進的閉源大模型。

而且,Llama 3.1-405B的推出意味著開發人員可以自由使用其“蒸餾”輸出來訓練小眾模型,從而大大加快專業領域的創新和部署周期。 

開源社區的“里程碑”:Llama 3.1-405B在多項測試中超越GPT-4o

2024年4月,Meta推出開源大型語言模型Llama 3。其中,Llama 3-8B和Llama 3-70B為同等規模的大模型樹立了新的基準,然而,在短短三個月內,隨著AI的功能迭代,其他大模型很快將其超越。

在你追我趕的競爭環境下,Meta最新發布了AI模型Llama 3.1,一共有三款,分別是Llama 3.1-8B、Llama 3.1-70B和Llama 3.1-405B。其中,前兩個是4月發布的Llama 3-8B和Llama 3-70B模型的更新版本。而Llama 3.1-405B版本擁有4050億個參數,是Meta迄今為止最大的開源模型之一。

而在發布當天的凌晨(北京時間),“美國貼吧”reddit的LocalLLaMA子論壇泄露了即將推出的三款模型的早期基準測試結果。

泄露的數據表明,Meta Llama 3.1-405B在幾個關鍵的AI基準測試中超越了OpenAI的GPT-4o。這對開源AI社區來說是一個重要的里程碑:開源模型首次擊敗目前最先進的閉源大模型。

而Meta團隊研究科學家Aston Zhang在X上發布的內容,也印證了被泄露的測試數據。

圖片來源:X

具體來看,Meta Llama 3.1-405B 在IFEval、GSM8K、ARC Challenge和Nexus等多項測試中均優于GPT-4o。但是,它在多項MMLU測試和GPQA測試等方面卻落后于 GPT-4o。另外,Llama 3.1的上下文窗口(context window)涵蓋128000個標記,比以前的Llama模型更大,大約相當于一本50頁書的長度。

圖片來源:X

但需要指出的是,值得注意的是,這些基準反映的是Llama 3.1基本模型的性能。這些模型的真正潛力可以通過指令調整來實現,而指令調整過程可以顯著提高這些模型的能力。即將推出的Llama 3.1模型的指令調整版本預計會產生更好的結果。

Llama 4已于6月開始訓練

盡管OpenAI即將推出的 GPT-5預計將具備先進的推理能力,可能會挑戰Llama 3.1在大模型領域的潛在領導地位,但Llama 3.1對標GPT-4o的強勁表現仍然彰顯了開源AI開發的力量和潛力。

要知道,對于專注于構建專業AI模型的開發人員來說,他們面臨的長期挑戰是獲取高質量的訓練數據。較小的專家模型(參數規模在10億~100億)通常利用“蒸餾技術”,需要利用較大模型的輸出來增強其訓練數據集,然而,使用來自OpenAI等閉源巨頭的此類數據受到嚴格限制,因此大大限制了商業應用。

而Llama 3.1-405B的推出意味著開發人員可以自由使用其“蒸餾”輸出來訓練小眾模型,從而大大加快專業領域的創新和部署周期。預計高性能、經過微調的模型的開發將激增,這些模型既強大又符合開源道德規范。

賓夕法尼亞大學沃頓商學院副教授伊桑·莫利克(Ethan Mollick)寫道:“如果這些數據屬實,那么可以說頂級AI模型將在本周開始免費向所有人開放。全球各地都可以使用相同的AI功能。這會很有趣。”

Llama 3.1-405B的開源,也證明開源模型與閉源模型的差距再次縮小了。

圖片來源:X

《每日經濟新聞》記者還注意到,除了廣受期待的Llama 3.1-405B外,外媒報道稱,Llama 4已于6月開始訓練,訓練數據包括社交平臺Facebook和Instagram用戶的公開帖子。而在開始之前,Mate已經向數據隱私監管最嚴格的歐盟地區用戶發送超過20億條通知,提供了不同意把自己數據用于大模型訓練的選項。

據悉,Llama 4將包含文本、圖像、視頻與音頻模態,Meta計劃將新模型應用在手機以及智能眼鏡中。

如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。

模型 Ai 大模型 META 人工智能

歡迎關注每日經濟新聞APP

每經經濟新聞官方APP

0

0