每日經濟新聞 2024-07-17 18:25:48
◎有業內人士表示,對于大模型而言,這不是很難解決的技術難點,只要喂了這方面的數據,就能得到準確的答案,只不過大部分的大模型廠商沒有把這方面的訓練作為重心,所以可能會出現不準確的回答。
每經記者 可楊 每經編輯 梁梟
13.11%和13.8%哪個大?9.9和9.11哪個大?
兩道小學數學難度的題目難倒了眾多主流大模型,在比大小的過程中,不少大模型給出了錯誤的答案。此外,此前《每日經濟新聞》發布的《每日經濟新聞大模型評測報告(第1期)》中,主流大模型被要求計算企業營業收入復合增長率時,沒有一家大模型計算出正確答案。
7月17日,有大模型企業人士向記者表示,對于大模型而言,這不是很難解決的技術難點,只要喂了這方面的數據,就能得到準確的答案,只不過大部分的大模型廠商沒有把這方面的訓練作為重心,所以可能會出現上述不準確的回答。
由綜藝節目《歌手2024》排名引發的熱議蔓延到大模型領域,也成了一場針對大模型數學能力的小測。
在《每日經濟新聞》記者7月17日的測試中,對于13.11%與13.8%誰大的問題,除了智譜清言外,文心一言、通義千問、kimi、商湯商量、百川智能百小應等大模型均給出了正確回答。
大部分大模型都在給出答案的同時呈現了推理過程。智譜清言給出的推理過程顯示,在比較13.11%和13.8%時,13.11%是更大的數值。這是因為當比較兩個百分數時,我們首先比較整數部分,如果它們相同,則比較小數部分。在這里,兩個數的整數部分都是13,但13.11的小數部分(11)大于13.8的小數部分(8),因此13.11%大于13.8%。
從推理過程判斷,可能由于小數點后數位不同,大模型在比較過程中產生了幻覺。經過兩輪提問后,智譜清言給出了正確回答。
當記者把問題換成“9.9與9.11誰大”,零一萬物的萬知大模型等同樣在一開始給出錯誤答案,當記者進一步追問“9.11減9.9等于多少”,甚至有大模型給出“0.21”的答案。
萬知的推理過程稍顯混亂:在比較9.9和9.11時,由于整數部分都是9,所以比較小數點后的第一位數字。9.9的小數點后第一位是9,而9.11的小數點后第一位是1。由于9小于10,所以在比較小數點后第二位數字時,9.9的小數點后第二位是0(隱含的),而9.11的小數點后第二位是1。因此,9.9的小數點后第二位數字(隱含的0)小于9.11的小數點后第二位數字(1),所以9.9小于9.11。
隨后,記者向大模型提問:為何會出現有大模型認為13.11大于13.8的情況?
ChatGPT給出的回答顯示,出現這種情況的原因可能是由于計算或比較方式的錯誤??赡艿恼`差原因包括:數值理解錯誤,有時系統可能會誤解數字的小數點位置;字符串比較,如果直接按字符串比較,可能會出現錯誤。因為字符串比較是按字符順序逐一比較的,而不是按數值比較;代碼實現錯誤,在編程中,可能存在比較邏輯或轉換錯誤。
文心一言給出的解答則是,訓練數據偏差、輸入處理與理解、模型幻覺、推理能力不足等原因。訓練數據偏差層面,即大模型在訓練過程中,可能接觸到了大量包含數字的數據,但這些數據并不總是以比較大小為目的。例如,數字可能出現在版本號、股票代碼、基金表現、匯率等上下文中,這些場景下的數字大小并不總是具有直接的比較意義。如果訓練數據中存在關于數字比較的偏差或不足,模型可能無法學習到正確的比較規則。
另一方面,可能由于大模型在處理輸入文本時,將數字視為字符序列,而不是具有數值意義的實體。因此,在比較數字大小時,模型可能沒有正確地將其轉換為數值進行比較。另外,模型在處理小數時可能存在困難,特別是當小數位數不同時。模型可能沒有正確地理解小數部分的比較規則。
7月17日,有大模型企業人士在接受記者電話采訪時表示,對于大模型而言,這不是很難解決的技術難點,只要喂了這方面的數據,其實就能得到準確的答案,只不過大部分的大模型廠商沒有把這方面的訓練作為重心,所以可能會出現上述不準確的回答。
這也并非大模型的數學能力首次受到關注。
6月,上海人工智能實驗室通過旗下司南評測體系OpenCompass對7個大模型進行高考“語數外”全卷能力測試。測試結果顯示,三科總分420分,大模型最高分僅303分,其中語文、英語表現相對良好,數學全不及格。
在此前《每日經濟新聞》發布的《每日經濟新聞大模型評測報告(第1期)》中,對主流大模型的財務數據計算和分析能力同樣進行了測評。在財務數據計算中,當被要求計算營業收入復合增長率時,沒有一家大模型計算出正確答案。
綜合來看,Anthropic Claude 3 Opus表現最為出色,以總分136分高居榜首。該模型在計算題的任務一(同比增長率計算)和任務二(毛利率計算)中均獲得了較高的分數,但在任務三(復合增長率計算)中未能給出正確答案。
幻方求索DeepSeek-V2是“財務數據計算和分析”場景評測中的一匹“黑馬”,以總分133.4分緊隨其后。該模型在計算題的任務一和任務二中同樣表現良好,但在任務三中也未能給出正確答案。不過,在計算復合增長率的任務中,盡管其答案有誤,但已掌握了正確的公式。
零一萬物Yi-Large的總分達到了126.4分,該模型盡管“分析寫作題”得分略遜一籌,但在計算題的任務一和任務二中表現穩定,在計算題得分以29.4分領先。此外,該模型在計算復合增長率時,同樣給出了錯誤答案,但也給出了正確的公式。
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP