最近，包頭警方發(fā)布了一起利用AI實(shí)施電信詐騙的案例。4月20日，一家福州公司的老板郭先生突然收到「好友」的微信視頻聯(lián)系，這位「好友」聲稱在外地競(jìng)標(biāo)需要430萬保證金，而且需要公對(duì)公賬戶過賬，想要通過郭先生公司的賬戶走賬。
郭先生沒有太懷疑，一方面是他比較信任好友，在視頻聊天中也確認(rèn)了對(duì)方的身份，再加上對(duì)方還將銀行轉(zhuǎn)賬底單的截圖發(fā)了過來，不到10分鐘就將430萬元轉(zhuǎn)到指定賬戶。結(jié)果等到電話聯(lián)系好友，郭先生這才發(fā)現(xiàn)：
自己被騙了。
你很難怪郭先生「不小心」。警方公布的細(xì)節(jié)里提到，騙子是直接盜用了郭先生好友的微信，通過智能AI換臉和擬聲技術(shù)「模擬」郭先生好友，再發(fā)起微信視頻聊天。而且從過程來看，騙子可能通過微信聊天記錄或者其他渠道，對(duì)郭先生好友乃至郭先生都有一定了解，否則也不會(huì)詐稱競(jìng)標(biāo)需要巨額保證金。
「好友微信，視頻聊天，這還能怎么防？」一位網(wǎng)友表達(dá)了自己的擔(dān)憂。而事件公布后，AI詐騙很快就引起了大量討論和分享，「AI詐騙正在全國(guó)爆發(fā)」的話題一度沖上了微博熱搜第一。
可以理解，過去很多電信詐騙事件中，很多騙子都會(huì)冒充親戚、同學(xué)或者朋友，通過一步一步的套話騙取受害者的信任。只要我們和家人朋友本人進(jìn)行語音和視頻聯(lián)系，大部分騙局都會(huì)不攻自破。
但現(xiàn)在語音和視頻也不可信了，而且是越來越不可信。
聲音、圖片、視頻，AI加速生成一切
AI改變?cè)p騙，已經(jīng)是無可爭(zhēng)議的事實(shí)了。
除了郭先生的案件，稍早前外媒Gizmodo也報(bào)道過一起AI詐騙事件。一位英國(guó)能源公司的CEO，在不知情的情況下被騙子采集了聲音。隨后，騙子將獲取到的聲音素材進(jìn)行了AI合成，再利用電話轉(zhuǎn)賬的漏洞，將22萬英鎊轉(zhuǎn)到自己的異國(guó)賬戶上。
按照這位CEO說法，他后來自己聽到這段AI合成語音時(shí)也驚訝了，因?yàn)檫@段語音不僅模仿出了他平時(shí)說話的語調(diào)，甚至還帶有一點(diǎn)他的口癖。
模仿一個(gè)人的聲音，對(duì)AI來說早就不是新鮮事。今年年初，微軟推出了語音模型VALL-E，甚至只需要3秒就能復(fù)制任何人的聲音，還可以保持語氣，就連環(huán)境背景都能模仿。
圖/微軟
這項(xiàng)技術(shù)顯然還不能飛入「尋常百姓家」，但尋常人已經(jīng)可以通過一些開源的語音合成技術(shù)，基于大量的聲音數(shù)據(jù)，也能合成真實(shí)無破綻的聲音。比如具備語音合成功能的工具Bark，除了聲色接近真人，還能加入背景噪音和高度擬真的笑聲、嘆息和哭泣聲等效果。
而在最近兩個(gè)月，「AI孫燕姿」 也在各大視頻平臺(tái)走紅，大量的AI創(chuàng)作者通過「AI孫燕姿」翻唱不同曲風(fēng)的作品，也讓很多網(wǎng)友「重新認(rèn)識(shí)了這些歌曲」，其中「AI孫燕姿」版本的《發(fā)如雪》僅在B站一個(gè)平臺(tái)的播放量就接近200萬。
圖/b站截圖
技術(shù)門檻的降低，也給了犯罪分子可乘之機(jī)。在郭先生的案件中，騙子盜用了其好友的微信，大量的聲音素材同樣唾手可得，也難怪郭先生從始至終都沒發(fā)現(xiàn)好友的聲音有問題。
當(dāng)然，就視頻聊天而言，我們判斷真?zhèn)蔚暮诵倪€是「看臉」，畢竟我們?cè)谏〉臅r(shí)候聲音也會(huì)改變，手機(jī)的降噪也一直沒有被很好地解決。
同時(shí)人臉也更容易取得我們的信任。
然而AI換臉的技術(shù)其實(shí)已經(jīng)非常成熟。新華社就曾報(bào)道，合成一個(gè)動(dòng)態(tài)視頻的成本在2元-10元，針對(duì)大型直播平臺(tái)，支持實(shí)時(shí)換臉的全套模型購(gòu)買價(jià)格為3.5萬元，并且可以做到很低的延遲和出錯(cuò)率。
除了騙子用AI換臉技術(shù)偽裝成其他人，在直播帶貨中，最近也有很多主播用上了AI換臉，將自己的臉替換成更有知名度和流量的「明星」，本質(zhì)上就是想利用「明星」名氣進(jìn)行帶貨，也可以稱得上另一種詐騙。但更重要的是，這件事說明AI換臉的成本已經(jīng)相當(dāng)?shù)拖?/span>。
圖/中國(guó)新聞網(wǎng)
生成式AI的發(fā)展，不僅可以讓郭先生在視頻聊天中無法分辨好友的聲音和樣子，也能讓AI孫燕姿成為頂流，讓所有人在手機(jī)上一鍵AI換臉。
人們對(duì)AI的擔(dān)憂是應(yīng)該的，就連孫燕姿本人在針對(duì)「AI孫燕姿」的聲明中也說，「你可能會(huì)反對(duì)，說我還是能分辨出區(qū)別的，它沒有情緒，沒有音調(diào)和呼吸（或任何你能想到的術(shù)語）的變化。很抱歉，我懷疑這只是一個(gè)非常短期內(nèi)的回應(yīng)?！?/p>
AI改變?cè)p騙，普通人如何自處？
回到電信詐騙這件事上，原本騙子的手段就層出不窮，AI技術(shù)更讓詐騙變得防不勝防。除了監(jiān)管機(jī)構(gòu)的規(guī)范和引導(dǎo)，我們普通人雖然無法影響AI技術(shù)的進(jìn)化速度，但面對(duì)AI詐騙，還是有一些事是我們可以做到的。
第一，保護(hù)好個(gè)人信息。
在郭先生的詐騙案中，好友微信被盜無疑是極為關(guān)鍵的因素。
今天微信早就成為了所有中國(guó)人最主要的聯(lián)系方式之一，在默認(rèn)情況下都不會(huì)想到被盜，特別是互相之間熟悉的人，很容易就會(huì)被騙轉(zhuǎn)賬。不僅如此，微信上還存有大量的個(gè)人信息、語音、文件，可能還包括一些人像視頻和身份證，我們都要謹(jǐn)慎處理。
而在微信之外，我們也必須意識(shí)到，AI時(shí)代，個(gè)人隱私數(shù)據(jù)將變得越來越重要。
第二，核實(shí)好對(duì)方身份。
AI讓核實(shí)身份變得前所未有地困難，畢竟從聲音到人臉全都能合成，而且技術(shù)還在不斷地迭代優(yōu)化。雖然親自碰面可以避免AI詐騙，但顯然這不現(xiàn)實(shí)，我們和家人、朋友、同事大量的互動(dòng)都遷移到了互聯(lián)網(wǎng)上，也包括數(shù)不清的交易。
我們只能學(xué)著適應(yīng)，特別是大金額的轉(zhuǎn)賬，不能只靠對(duì)方的臉和聲音，要在不同渠道進(jìn)行確認(rèn)，比如電話和微信。如果可以，最好還要多問一些問題，最好只有雙方知道。
第三，及時(shí)撥打110報(bào)警。
電信詐騙的花樣一直層出不窮，很多人都自信地認(rèn)為自己不會(huì)被騙，然而現(xiàn)實(shí)告訴我們，所有人都有被騙的可能。而在發(fā)現(xiàn)被騙后，我們?nèi)匀贿€有機(jī)會(huì)挽回?fù)p失，郭先生雖然被騙了430萬，但因?yàn)榧皶r(shí)報(bào)警還是攔截回來了300多萬。畢竟，警察才是最了解電信詐騙的。
不過坦率地講，落到實(shí)際，AI詐騙對(duì)于我們普通人還是太難了，尤其是核實(shí)身份的關(guān)鍵一步，隨著AI迭代只會(huì)越來越難。
好消息是，監(jiān)管層面也在跟進(jìn)，伴隨著AI的爆發(fā)，全球各國(guó)都在重視AI安全和監(jiān)管方面的問題，國(guó)家網(wǎng)信辦此前發(fā)布的《生成式人工智能服務(wù)管理辦法（征求意見稿）》，也強(qiáng)調(diào)了數(shù)據(jù)資源、生成內(nèi)容、用戶信息等多方面的安全可信。