產生上述問題的一個原因在於,智能戰爭時代“人與非人”關係的提出對西方人格觀念構成了挑戰,使我們必須接受人的存在依賴於其他生命與其他非人類個體這一事實。在許多軍事場景中,這種相互依附的人機關係則更為明顯,許多複雜無人機群空中、陸地和海上平台設計與使用的文獻中都體現了這一點。
澳大利亞國防軍在2020年出版的《機器人與自主系統概念》文件中指出:“國防需要一個概念來確定如何利用機器人與自主系統(Robotic and Autonomous Systems)來實現戰略性顛覆。”所謂實現戰略性顛覆,便包含着“人類與機器人智能體之間協作完成共同任務”的目標。但此目標基於對人際關係上的特定理解,即機器人不是利益相關者而是人類的輔助,團隊合作結果的責任需由人類承擔。但隨着新技術的出現,人機協作的架構正在發生改變,因此,本文提出研究問題:人機關係的性質是否會發生變化?這種變化又如何作用於軍事的戰略戰術層面?
技術與經濟發展趨勢正在初步融合併催生新的機器人能力與技能,而這也將推動新科技在軍事中的應用。澳大利亞國防軍上校Reid進一步確認了這一點,他指出“人工智能等技術最初由商業部門開發並主要面向商業應用,但隨着其在軍事應用中展現出越來越大的潛力,全球各國的武裝部隊均開始發展初步的人工智能驅動防禦系統,並嘗試確定如何使其更好的完成作戰或維護和平的任務。”
但人工智能對軍事力量的重要意義並非形成於朝夕之間。實際上,人工智能領域發展一直都受到軍事支持的強力引導,同時也會受到軍事發展優先事項的影響,並非完全由私營部門而推動。因此,人工智能和機器人技術的快速發展事實上深深紮根於軍事研究機構之中,而這種發展脈絡對於理解人機關係來講是不可忽視的。Crawford在《人工智能地圖集:權力、政治和人工智能全球成本》一書中指出,軍事力量對人工智能技術發展進程的參與,使人工智能的整體邏輯中融入了某種類型的分類性思維——諸如“目標”、“資產”、“異常檢測”等具有明確戰場導向(battlefield-oriented)的術語到更微妙的低、中、高風險分類,這些概念驅動着人工智能研究,同時也創造出了人工智能技術的認識論框架,並影響着工業界和學術界。
此外,Pagel與Krishtein在著作《機器夢境與意識》中指出,當前神經科學與計算機科學的發展正處於一個交匯點,而這一瓶頸阻礙了人工智能和機器人系統的發展。當這些系統實現與人類的互動和思考能力,但卻面臨着各種限制和邊界。例如,利用數學邏輯進行編程的系統在與人類常識現實的互動方面存在困難,表現為難以在無清晰邏輯的情況下正常運行。如果想實現在人類常識性世界中的運轉,這些系統就必須表現的更像生物系統而不是參數化計算器。
問題便產生於此:人類應當如何與機器人隊友互動並對其進行監督?正如Pagel和Krishtein所指出的,目前最先進的計算系統所具有的“參數化計算器”與人類之間的絕對差異並未被彌合,這就要求人類需要具備從“參數化計算器”角度進行思考的能力。結合Crawford的發現,就要求人類具備一種“分類性思維”並能夠對自身角色進行某種程度的簡化。
Peter Singer在《網絡戰爭》一書中對未來軍事行動中機器人普及的可能性做出了警告,到2018年已經有人認為軍事機器人將成為21世紀國際衝突的一部分,而那些具有自主作出致命決定能力的軍事機器人將永久改變人類的戰爭形態。
何為“永久改變”,而如果這些改變成為現實,武裝衝突的倫理與法律又將發生何種變化?人工智能革命使機器具備認知能力成為可能,而為了實現“戰略性顛覆”,全球的軍事專業人士都對開發和部署此類技術和機器充滿熱情。雖然目前已經有某些包含人工智能技術和其他自主性技術的應用在軍事領域被成功應用,但當我們談及“智能”(Intelligent)和“認知化”(cognitized)機器概念是仍需要進行更謹慎和細緻的辨析。
首先,機器目前並不能達到劍橋詞典所定義的“認知”(cognition),即使用有意識的心理過程。蘭德公司在“人工智能軍事應用”報告中對“cognition”提出了質疑,但卻選用了另一個並不完美的定義:“計算機系統執行通常需要人類智力(human intelligence)的任務的能力”。但這又引出了新的問題,即如何理解“人類智力”,是應當從腦科學的生物學角度切入,還是從人類學的涉及文化的角度切入?當我們提及“intelligence”一詞時,實際上應用的還是一種混合定義。
此外,“自主性”(autonomy)也是一個具有問題的術語。蘭德公司的報告將“自主性”定義為“如果某個執行任務的實體被賦予在無規則和無邊界限制下的行動權力,這就能夠被描述為完全‘自主’”。Autonomy源於希臘語αὐτο(auto,“自我”)和νόμος(nomos,“法律”),意為“為自己立法者”,實際上凸顯了自主武器系統可能脫離人類控制並“自為法則”這一問題,這也是人類對致命性自主武器系統的恐懼所在。國防科學委員會(DSB)在報告中指出了這一點,並明確應當將“自主性”理解為“人類-系統協作的結果”,明確了預設意圖和自生成意圖的區別。
因此,當我們談論人工智能時更多提到的是人工智能在遵循“預設意圖”完成任務時可能具有超越人類的能力,但人工智能所表現出的“智能”並非人類智力。許多試圖說明人工智能軍事技術在戰爭場景中比人類表現更好的案例也具有一定誤導性,例如論證在高速/高強度空對空作戰中無人作戰系統能夠超越人類智能,實際上忽略了人類飛行員在這一情景下認知和生理上受到多重限制的事實。
與人工智能及戰爭背景下的“人際關係”相關的文獻中,另一個常見問題是對相關技術的刻意擬人化。人形特徵與類人屬性常被視為將機器人整合入人類社會環境的慣用策略,因此在面對人工智能時,許多人主張的終極目標也是建立一個完全擬人化的“合成人類”。在50年代,阿蘭·圖靈曾主張通過機器模仿人類的方式來評估機器的智能,另一位計算機科學家利克萊德(Licklider)則提出了“人機共生”和“人機系統”模式,通過使計算機有效參與問題解決來拓展人類能力的邊界。
在軍事人工智能不斷發展的今天,圖靈與利克萊德的對技術的暢想仍然影響着我們。圖靈通過模仿人類智力的方式助長了機器行為接近人類智力的錯覺,以此來彌合人與機器之間的鴻溝,利克萊德則設想了一種“社交平面”環境,使人類和機器可以在這一層面上互動。然而,無論是在軍事領域還是民用領域,當我們試圖實現利克萊德的願景時,卻總會走上圖靈的路徑。
使用擬人化範式來增強機器人的功能性和行為特徵,的確能使我們能夠更容易理解併合理化機器行為,但這種方法也伴隨着危險。在軍事造作環境中,將武器擬人化會助長將“能力”與“智能”混為一談的傾向,會使我們傾向於誇大相關系統和技術的性質,並用一種比實際情況更具推測性的方式評估戰爭條件下人機關係的新興特質。
鑑於人工智能、可信自主系統和無人平台將在維護可信威懾能力優勢方面發揮至關重要的作用,澳大利亞國防學院在2019年對軍官學員和海軍候補軍官進行了一項廣泛調查,主要圍繞以下三個主要問題展開:
1. 是否願意與無人/自主系統並肩部署;
2. 對自主系統潛在益處的看法;
3. 對自主系統潛在風險的看法。
該研究旨在檢驗以下假設:軍隊人員比普通民眾更可能支持使用致命性自主武器系統(LAWS),調查對象為澳大利亞國防學院的軍官學員和海軍候補軍官。此外,調查還旨在識別與自主武器系統(AWS)相關的哪些感知風險和益處對這些未來國防領導者部署有人-無人協作團隊(manned-unmanned teams)的意願影響最大。
由於該研究的受訪者為軍官學員和海軍候補軍官,因此幾乎全部為年輕人(97.6%年齡在18至24歲之間)。其中女性受訪者比例較低,僅為26.8%,而超過87%的受訪者出生於澳大利亞。多數受訪者來自陸軍(占45%),其餘分別為澳大利亞皇家空軍軍官學員(33%)和澳大利亞皇家海軍候補軍官(22%)。調查向受訪者提供了四種具有不同人類控制水平的自主系統實例,並要求他們對此作出回應:
1.系統的每一功能都由人類操作員控制;
2.系統由人類操作員控制,但系統能夠獨立執行某些預編程功能;
3.系統可以在預定義區域內通過預編程決策執行武力,而無需直接人類監督;
4.系統能夠模仿人類級別的決策能力,在任何環境中自主創建並完成任務,無需任何人類輸入,並能從錯誤中學習。
調查結果顯示,“機器人”感知的獨立性水平與“部署意願”之間存在顯著關係。具體而言,自主系統受人類控制的程度越高,受訪者部署相關系統的意願越高。當機器已經能夠模仿人類決策能力並具備自我學習能力時,大多數受訪者均表示不願意部署。
根據評估結果,調查者總結了三個核心發現,可能為未來的國防學說發展和採購提供指導:(1)對於自主系統相較於輕型載人平台在開發、採購和維護成本較低的重要性,受調查群體和澳大利亞國防軍(ADF)領導層的看法存在顯著差異;(2)決定是否願意部署自主系統的最重要因素是其安全性、精確性和可靠性;(3)從倫理角度來看,減少對平民、ADF人員及盟軍的傷害是影響受訪者是否願意部署自主系統的重要因素。
調查結果還發現,即使是對軍官而言,關於自主系統的構建和話語實踐仍具有不可忽視的影響力,這表明在自主系統的案例中存在一種話語效應,會對使用潛在致命性武器的意願產生額外影響。然而,這項調查存在多個值得批判的方面:
第一,調查依賴於受訪者對機器及人與機器關係的先驗認知,且未解釋“自主性”和“智能”這類複雜、爭議性的概念,可能限制了調查的深度,尤其是在探討“話語效應”時。第二,美國國防部已放棄“自主性等級”模型,而調查中的自主性層級很大程度上基於系統的預計實現效果,假設場景4中模擬人類決策能力的機器也尚不存在。第三,調查設計未能消除軍官對自主系統“神話”的誤解,存在將機器行為擬人化的表述。最後,調查未探討受訪者態度形成的根本原因,也未澄清諸如“智能”和“自主性”等關鍵術語的含義。上述不足削弱了調查結果的可信度,也可能限制其在設計軍隊培訓和與其他研究對比分析中的實用價值。
如果我們發展人工智能並重建人機關係的主要目標是實現“戰略性顛覆”,那麼以至今我們所採用的膚淺的人文主義視角來思考人機交互將是不足的。過往文獻和研究中對人機關係本質的神話式闡述,要麼使我們無法實現人機關係的潛力,要麼陷入“極端技術主義”的陷阱,導致我們像基辛格那樣相信人類能夠擺脫“技術對權力行使的限制”。
通過對人機關係文獻的簡要回顧,本文注意到過度誇大機器的本質(以及其新興能力)會延續一種有害的神話,其不僅不能幫助我們設計出戰略性顛覆能力,反而可能在潛在的危險中讓我們分心。因此,此後的相關研究和常識需要一種糾正性措施,使我們能夠重新發現人類現實與機器技術現實之間的聯繫,重新思考與機器合作的意義。
在軍事背景下,進行這樣的轉變將帶來多方面的益處。首先,我們可以重新設計專業軍事教育項目,幫助不同層級的軍人更順利地理解和適應這種“認知轉變”。此外,這種思維轉變也能使我們重新構思設計和工程原則,以實現並反映我們對機器和人機關係的更新視角。最終,這將使我們能夠設計、實驗,並最終部署更新且更具創新性的人機作戰系統,這些系統將在新興的“算法戰場”背景下發揮作用,實現其“戰略性顛覆”潛力。