每經記者 鄭雨航 李孟林 蔡鼎    每經編輯 高涵 蘭素英 譚玉涵    

近日，國內AI換臉新型詐騙頻發，有人10分鐘被騙430萬元，一度沖上熱搜，引發全網關注。但利用AI實施詐騙并不止發生在中國。有專家估計，在過去一年里AI詐騙事件在美國的同比增幅超過50%。

自2022年11月ChatGPT引爆生成式AI的熱潮以來，文字、圖像、語音和視頻類的AI技術加速進化，在帶來生產力革命潛力的同時，也給了犯罪分子強大的工具。幾美元付軟件加幾秒語音就能合成以假亂真的人聲，有專家估計，過去一年，AI詐騙事件在美國的同比增幅超過50%。

除了容易上當受騙的老人群體，連有的商業精英也沒能躲過。面對此類新型詐騙該如何防范？《每日經濟新聞》記者連線倫敦大學學院計算機科學家、人工智能專家Peter Bentley教授。

“僅需5美元生成”

4月末的一天，美國一位叫詹妮弗·德斯特凡諾的女性接到一通陌生電話——“媽媽，我搞砸了！”，電話那頭傳來其正在外地備戰滑雪比賽的大女兒布里安娜的聲音，不斷向她求救。

“聽著，你女兒在我手里，你如果打電話報警或者告訴其他任何人，我就給她下藥，把她玩夠了就扔她去墨西哥，你永遠別想再見到她了，”一個低沉的男人聲音在電話里威脅道，并要求詹妮弗支付100萬美元的贖金。

詹妮弗當場嚇呆了，其表示拿不出100萬美元來，電話那頭的男子“大減價”到了5萬美元。掛斷電話后，詹妮弗旁邊的友人報了警，并且試圖說服她這是一個騙局，但愛女心切的母親根本聽不進去，因為“女兒”的哭泣聲實在是太真實。后來，詹妮弗已經開始和對方討論轉錢的方式，幸虧女兒及時打來電話報平安才避免了財產損失。

“當母親的能認出自己的孩子，就算孩子和我隔著一棟樓，當她哭泣時我也知道那是我的孩子，”回憶起電話里和女兒一模一樣的聲音，詹妮弗仍然感到驚訝。

據外媒報道，隨著AI技術的發展，犯罪分子能夠僅憑一個人在社交媒體上數秒鐘的聲音素材生成遭綁架的對話片段，以此勒索錢財，成本可能僅僅需要每月5美元的AI程序使用費。

“大型語言模型可以按照任何風格編寫文本，所以如果你有一些電子郵件或社交媒體交流的樣本，現在很容易讓AI用來學習并假裝成你本人。經過示例訓練后，生成式AI算法還可以輕而易舉得生成以假亂真的音視頻。隨著越來越多的應用程序具備這些功能，它變得越來越容易獲得，”倫敦大學學院計算機科學家、人工智能專家Peter Bentley教授對《每日經濟新聞》表示，“除非我們能提醒每個人更多地意識到危險，否則代價可能是巨大的。”

美國聯邦貿易委員會（FTC）5月發布警告，稱不法分子正在利用AI語音技術偽造緊急情況騙取錢財或信息，在新冠疫情期間，此類騙局暴漲了70%。美國紐約州國際詐騙問題專家Michael Skiba5月對媒體估計，過去一年里，美國AI詐騙的案件數量同比已經上漲了50%到75%之間。

雖利用AI技術詐騙造成的損失沒有單獨統計，但美國聯邦調查局3月公布的年度報告顯示，2022年美國網絡詐騙造成的損失達103億美元，創下五年來新高，并指出面向老年人的AI語音騙局是重災區。

AI合成技術的成熟，在國內爆火的AI孫燕姿翻唱視頻得到淋漓盡致的展示。無限逼近真實的AI人聲，意味著不只是家庭主婦或者爺爺奶奶輩才會被騙，就連商業精英也難以分辨。

據Gizmodo報道，英國一名能源公司的CEO的聲音被騙子用AI技術合成，隨后騙子利用合成聲音指導電話轉賬，騙取了22萬英鎊到自己的匈牙利賬戶。該CEO表示，他后來自己聽到這段AI合成語音時都震驚了，因為這段語音不僅能模仿他平時的語調，甚至連他“微妙的德國口音”特征也模仿到了。

大眾該如何防范？

自ChatGPT引爆生成式AI的熱潮，科技巨頭和創業公司爭先恐后地推出和升級AI產品。技術加速迭代，應用越來越便宜，而監管手段和力度一時難以應付，AI詐騙構成了迫切的挑戰。

2023年初，微軟推出的新模型VALL·E只需要3秒素材，就可以復制任何人的聲音，甚至連環境背景音都能模仿 。ElevenLabs、Murf、Resemble 和Speechify等公司早已提供生成AI語音的服務，包月費用最低從幾美元到100美元的高級套餐不等。

美國加州大學伯克利分校的數字取證學教授法里德（Hany Farid）表示，一兩年前克隆一個人的聲音還需要大量的音頻數據，現在僅需要短視頻里的人聲，AI軟件就可以分析年齡、性別、口音等特質，然后搜索龐大的聲音數據庫，找到類似的聲音并預測模式，從而重建個人的整體類似聲音。“這很可怕，具備釀成大禍的所有條件，”他表示。

據外媒報道，詹妮弗也懷疑詐騙者是通過她女兒的社交賬號獲取的音頻，她表示，布里安娜有一個私人TikTok賬號和一個公開的Instagram賬號，里面包含她滑雪比賽的照片和視頻。

如果AI語音加上同樣成熟的“換臉”技術，“眼見為實”也很容易成為過去式。“目前的AI音視頻詐騙，如果你非常仔細地看和聽，就可能會在發現一些奇怪的‘錯誤’或聲調，”Peter Bentley教授表示，“但不幸的是，許多人在使用手機通話時使用了音頻過濾器來減少噪音，這讓真實的人可能聽起來像假的，而假的人可能聽起來卻像真的，所以我們目前已經不能再假設我們在屏幕上看到或聽到的任何東西都是真實的了。”

普通人如何防范被騙？Peter Bentley教授表示，目前還沒有百分百能夠識別AI生成和真實之間區別的方法。

“所以最好的建議是：保持懷疑，仔細檢查任何向你要錢或個人信息的人，即使‘他’看起來是一個值得信賴的朋友或家人。一定要給他們回電話，最好是視頻，或者最好是親自見他們，看看請求是否真實。如果你需要朋友幫忙，那就親自去找他們談談。不管怎樣，這才是恰當的做法！”Peter Bentley教授表示。