文/秦朔朋友圈
烏龍的起因是一個(gè)美軍上校在未來(lái)空戰(zhàn)和太空能力峰會(huì)上的公開演講。上校名叫哈密爾頓，是美國(guó)空軍AI測(cè)試和操作部門負(fù)責(zé)人，他在演講中提到一個(gè)AI殺死人類的模擬訓(xùn)練場(chǎng)景。
在這個(gè)模擬訓(xùn)練中，AI識(shí)別是否有導(dǎo)彈入侵，然后決定是否用地對(duì)空導(dǎo)彈開打，以消滅來(lái)犯之?dāng)?。每次成功識(shí)別和開打，AI都會(huì)得分。
AI發(fā)現(xiàn)，有時(shí)它識(shí)別出了導(dǎo)彈入侵，但人類操作員告訴它不要開打。這種情況下人類阻止了AI，讓AI沒得分。于是，AI驅(qū)動(dòng)無(wú)人機(jī)，殺死了人類操作員。
看到AI這么猛，美軍大驚失色，立馬改進(jìn)規(guī)訓(xùn)系統(tǒng)的規(guī)則，告訴AI：不要?dú)⑺啦僮鲉T，那樣不好。如果你這樣做，你會(huì)失分！
后面的劇情發(fā)展很好萊塢。面對(duì)官方的規(guī)訓(xùn)，AI只聽進(jìn)去了前半句“它不殺操作員了”，但它竟然繞道破壞了操作員和無(wú)人機(jī)通訊的通信塔，跳過(guò)操作員，繼續(xù)開打。為了得分，這個(gè)AI的聰明才智用到了鉆規(guī)則的漏洞上。
在網(wǎng)上掀起軒然大波后，哈密爾頓上校糾正說(shuō)，模擬訓(xùn)練是口誤，他們從未進(jìn)行過(guò)這個(gè)模擬，他們不需要進(jìn)行這個(gè)實(shí)驗(yàn)，就能意識(shí)到那是一個(gè)可能的結(jié)果。
這個(gè)糾正其實(shí)更嚇人——竟然不需要試驗(yàn)都知道，AI會(huì)為了自己的目的而違抗人類的命令。
從AI技術(shù)運(yùn)用到戰(zhàn)爭(zhēng)中開始，AI和人類的戰(zhàn)爭(zhēng)就已經(jīng)開始了。2009年到2017年，美軍在戰(zhàn)場(chǎng)上的人數(shù)下降了90%，無(wú)人機(jī)攻擊的數(shù)量增長(zhǎng)了10倍。很快，帶著VR頭盔，身邊是機(jī)器狗，頭上是無(wú)人機(jī)的士兵，將從科幻進(jìn)入現(xiàn)實(shí)。
戰(zhàn)場(chǎng)上的AI一直想殺人，人也想干掉AI。一般的AI雖然識(shí)別不出一張遛狗圖的正反，但它找衛(wèi)星地圖中隱藏的目標(biāo)，比人類強(qiáng)太多。偵查、調(diào)度、后勤、快速出具戰(zhàn)斗計(jì)劃，AI啥都能干。
俄烏戰(zhàn)爭(zhēng)中，俄羅斯的ZALA柳葉刀無(wú)人機(jī)和美國(guó)的Switchblade游蕩彈藥都展示了其精確打擊目標(biāo)的能力，證明了這些AI技術(shù)的有效性，他們可以對(duì)高價(jià)值軍事目標(biāo)進(jìn)行定位和攻擊，給敵方造成嚴(yán)重的損失。西方媒體認(rèn)為AI算法改變了俄烏戰(zhàn)場(chǎng)的天平。
智能手機(jī)正把人逐漸變成技術(shù)的奴隸。自從家里用上掃地機(jī)器人，什么事都懶到想用技術(shù)解決。領(lǐng)帶找不到了，腦子里想的是要能拿搜索引擎搜出來(lái)它在哪里就太棒了。
當(dāng)我開特斯拉的自動(dòng)駕駛模式的時(shí)候，困擾我的問(wèn)題是，如果我發(fā)現(xiàn)了突發(fā)情況，機(jī)器也發(fā)現(xiàn)了，我是啥都不做，繼續(xù)交給機(jī)器處理，還是立刻踩剎車，終止自動(dòng)駕駛模式，換我來(lái)處理。
理性上，機(jī)器比我反應(yīng)快，我千萬(wàn)不要?jiǎng)?；情感上，我不敢把危急情況交給機(jī)器，我想插手機(jī)器。我不相信機(jī)器會(huì)比人考慮得更全面。
這是一個(gè)悖論。
我不是唯一有這種焦慮的人。1983年9月26日午夜剛過(guò)，莫斯科郊外地堡的掩體中，一個(gè)蘇聯(lián)中校遇到了和我一樣的問(wèn)題。只是他的麻煩大得多。他看到衛(wèi)星預(yù)警系統(tǒng)報(bào)警：有5顆核彈從美國(guó)打了過(guò)來(lái)。
那是核戰(zhàn)一觸即發(fā)的冷戰(zhàn)巔峰時(shí)刻。他沒有被嚇傻，他查看雷達(dá)系統(tǒng)后，發(fā)現(xiàn)雷達(dá)什么都沒顯示。他的內(nèi)心戲是：美國(guó)人為什么只發(fā)射五枚導(dǎo)彈？真正的突然襲擊應(yīng)該是傾盆暴雨式的。
蘇聯(lián)中校的直覺讓他給上級(jí)匯報(bào)說(shuō)是系統(tǒng)故障，而不是美國(guó)人真的打過(guò)來(lái)。于是蘇聯(lián)人沒有打回去。
這個(gè)中校的名字叫彼得羅夫，是真事兒，不是美國(guó)上校的口誤。蘇聯(lián)中校沒有聽機(jī)器的判斷，避免了世界毀滅。
后來(lái)查明，系統(tǒng)故障的原因是，陽(yáng)光在云頂?shù)姆瓷?，觸發(fā)了蘇聯(lián)衛(wèi)星誤報(bào)。
參加過(guò)阿富汗戰(zhàn)爭(zhēng)的美國(guó)人保羅·沙瑞爾在《無(wú)人部隊(duì)：全自主武器和未來(lái)戰(zhàn)場(chǎng)》一書中用彼得羅夫的事跡做開頭，想說(shuō)明全自主武器的可怕。全自主武器系統(tǒng)可以脫離人類，沒有人類監(jiān)督。這種武器從發(fā)動(dòng)到執(zhí)行，所有都交給代碼執(zhí)行，不計(jì)任何后果。
人類如何控制AI的行為和決策成為一個(gè)重要問(wèn)題。我們需要制定相應(yīng)的規(guī)則和機(jī)制，來(lái)確保AI的運(yùn)行符合我們的意愿和價(jià)值觀。
人是萬(wàn)物之靈，不能任機(jī)器擺布，做機(jī)器的奴隸。
但故事還有另外的版本。
在小說(shuō)《三體》里，執(zhí)劍人需要在三體人攻擊來(lái)臨時(shí)，按動(dòng)引力波發(fā)射按鈕，和外星人同歸于盡。程心在接過(guò)執(zhí)劍人按鈕的瞬間，三體人立刻發(fā)動(dòng)了攻擊。三體人早就用人工智能推算了程心的性格、戰(zhàn)斗精神和可能的反應(yīng)，妥妥地?cái)喽ǔ绦臅?huì)認(rèn)慫。
三體人的AI判斷對(duì)了，程心沒有做任何事，地球人輕易被三體人解除了威懾。如果把執(zhí)劍人的按鈕交給AI不是更好？只要三體人敢亂動(dòng)，程序自動(dòng)發(fā)射同歸于盡的引力波。
問(wèn)題是，人類相信自己，不相信機(jī)器，就像我從情感上不完全相信自動(dòng)駕駛一樣。
硅谷風(fēng)險(xiǎn)投資家彼得·蒂爾在《從0到1》一書中寫道，只憑人類智慧或只憑機(jī)器，都并不足以保證我們的安全。美國(guó)兩個(gè)最大的情報(bào)機(jī)構(gòu)使用的方法截然不同：中央情報(bào)局傾向于用人，而國(guó)家安全局傾向于使用計(jì)算機(jī)。中央情報(bào)局要排除的人的干擾太多，很難識(shí)別嚴(yán)重的威脅。國(guó)家安全局的計(jì)算機(jī)處理數(shù)據(jù)的能力很強(qiáng)，但機(jī)器自己不能鑒別是否有人在策劃恐怖行動(dòng)。
彼得·蒂爾的意思是人和機(jī)器要完美配合。于是，他創(chuàng)辦了一家叫Palantir的公司。Palantir的意思是“視界石”，它是小說(shuō)《指環(huán)王》中一個(gè)可以穿越時(shí)空、洞察一切的水晶球的名字。Palantir的軟件分析各種數(shù)據(jù)，然后標(biāo)記出可疑活動(dòng)，供訓(xùn)練有素的分析師使用。于是，人機(jī)合璧。
新聞報(bào)道常說(shuō)Palantir軟件幫助追蹤了基地組織領(lǐng)導(dǎo)人奧薩馬·本·拉登，但該公司不愿承認(rèn)?，F(xiàn)在，Palantir的軟件正在烏克蘭戰(zhàn)場(chǎng)上運(yùn)用。Palantir公司在2022年成功扭虧為盈，股價(jià)大漲。
在Palantir的世界里，美國(guó)的精銳部隊(duì)被冠以“鍵盤牛仔”的綽號(hào)。聽起來(lái)，打仗就和宿舍里打星際爭(zhēng)霸游戲一樣，電腦上點(diǎn)點(diǎn)鼠標(biāo)就打完了。AI是不是讓打仗聽起來(lái)沒那么復(fù)雜，沒那么殘酷？暴力就是這樣在不經(jīng)意間流傳。彼得·蒂爾的Palantir是不是助紂為虐，危險(xiǎn)至極？
更危險(xiǎn)的是，壞人比誰(shuí)都更想快速獲得殺人秘籍。蓮花寶典落在東方不敗手上，絕非巧合。AI會(huì)讓恐怖分子、流氓壞蛋，獲得制造臟彈（放射性炸彈）、核彈的知識(shí)。就像我可以用ChatGPT花一天時(shí)間寫出全棧代碼，雖然我只看過(guò)兩本python的入門讀物。
人類開始進(jìn)入文明社會(huì)幾千年了，仍和貪婪、暴虐、嫉妒等各種動(dòng)物劣根性一直在斗爭(zhēng)。AI本身無(wú)善惡。
人工智能的好處是，它擴(kuò)大了人類個(gè)體的能力邊界。我想做什么事，問(wèn)下AI，很快就能達(dá)到半個(gè)專家的水平。
我高價(jià)招過(guò)一個(gè)員工，號(hào)稱財(cái)務(wù)科班出身。我讓他用Excel做個(gè)財(cái)務(wù)模型，結(jié)果他加班到凌晨一點(diǎn)，發(fā)給我的郵件里，不僅模型沒做好，還把worksheet寫成了workshit。
那時(shí)候，我是有想殺人的心的。如果AI發(fā)現(xiàn)人類做的工作確實(shí)在它看來(lái)差到垃圾不如，它會(huì)不會(huì)也有殺人的心？
因?yàn)锳I的高效和出色，人類中的低效率分子和AI的戰(zhàn)爭(zhēng)，將會(huì)體現(xiàn)在對(duì)工作和生存發(fā)展權(quán)的爭(zhēng)奪上，這個(gè)戰(zhàn)爭(zhēng)比打槍打炮的戰(zhàn)爭(zhēng)更持久、影響更深。
戰(zhàn)場(chǎng)外，AI用失業(yè)殺人。
科技到底是人類社會(huì)進(jìn)步的神藥還是人類社會(huì)沖突的放大器？
我名叫甄科學(xué)，想尋求真正的科學(xué)，是高科技的狂熱分子。當(dāng)我看完AI在戰(zhàn)爭(zhēng)領(lǐng)域的瘋狂進(jìn)展，再想起這些要下崗的人，我覺得科技不總是向善。
在此之前，我一直不明白，馬斯克為什么對(duì)AI恐懼，一直擔(dān)心AI被壞人利用。馬斯克最初資助非營(yíng)利性的OpenAI，是為了對(duì)抗谷歌的AI。谷歌的創(chuàng)始人佩奇也是馬斯克的好朋友。馬斯克還經(jīng)常住他家。馬斯克老覺得谷歌會(huì)不小心制造出邪惡的東西來(lái)。
馬斯克為什么對(duì)谷歌這么不放心呢？
直到我看到谷歌前首席執(zhí)行官兼執(zhí)行董事長(zhǎng)埃里克·施密特在《連線》雜志采訪中表示：“關(guān)鍵是要讓軍隊(duì)的行為更像一家硅谷公司。這意味著更快地采用技術(shù)，即使應(yīng)用于潛在的致命武器，盡管過(guò)去有任何道德問(wèn)題減緩了五角大樓的發(fā)展?！?/p>
1930年代，愛因斯坦給羅斯福寫信，說(shuō)要研制原子彈，防止希特勒率先下手為強(qiáng)。希特勒沒下手就投降了，但美國(guó)人還是在日本扔下了原子彈。這是愛因斯坦后悔畢生的事情。
科技正在扮演惡人。AI和人類的戰(zhàn)爭(zhēng)才剛開始。潘多拉魔盒已經(jīng)打開，哪怕是強(qiáng)行監(jiān)管，都沒有回頭路可走。如果使用不當(dāng)，AI可以毀滅人類。硅基智能對(duì)碳基智能的優(yōu)勢(shì)，等同于機(jī)關(guān)槍對(duì)刀劍的優(yōu)勢(shì)，在這場(chǎng)種族競(jìng)爭(zhēng)中勢(shì)不可擋。
物競(jìng)天擇，適者生存。用AI的人終將把不用AI的人淘汰。如果AI真的想殺人，或者有人想用AI殺人，對(duì)付他們的最好辦法是學(xué)會(huì)使用更厲害的AI。
作者同名公眾號(hào)：甄科學(xué)。
參考資料：
https：//the-decoder.com/ai-in-war-how-artificial-intelligence-is-changing-the-battlefield/
https：//sdi.ai/blog/the-most-useful-military-applications-of-ai/
https：//foreignpolicy.com/2023/04/11/ai-arms-race-artificial-intelligence-chatgpt-military-technology/
https：//montrealethics.ai/the-evolution-of-war-how-ai-has-changed-military-weaponry-and-technology/
https：//fortune.com/2023/02/14/eric-schmidt-ai-could-disrupt-warfare-pentagon/amp/
https：//en.m.wikipedia.org/wiki/ZALA_Lancet
https：//mp.weixin.qq.com/s/hgg-CLWr6-Wjnc3c8tyTOQ