技術已進化到超出人類控制？(zt)

6月21日消息，《衛報》網站今日撰文詳述了機器的崛起。技術正開始以智能和不可預知的方式運作，連它的創造者都無法捉摸。正當機器越來越多地改變全球事件，我們該如何重新控制它們呢？

以下是文章主要內容：

你臥室角落裡的智能音箱突然狂笑起來，還把你的枕邊細語錄音發給了一個同事。你蹣跚學步的孩子在YouTube上看動畫片《小豬佩奇》，卻出乎意料地看到了血腥和死亡的畫面。你用來和老同學保持聯繫的社交網絡被發現會影響選舉結果和被用來煽動政變。

我們的思維方式發生了奇怪的變化——因此，這個世界發生了更奇怪的事情。我們開始相信，一切都是可計算的，都可以通過新技術的應用加以解決。但這些技術並不是中立的促進者：它們體現了我們的政治傾向和偏見，它們超越了國家和法律管轄範圍的界限，甚至越來越超出了它們的創造者的理解。因此，隨着這些強大的技術對我們的日常生活有了更多的控制，我們變得越來越不理解這個世界。

在科學和社會中，在政治和教育中，在戰爭和商業中，新技術不僅增強了我們的能力，還在積極地塑造和指導它們，無論好壞。如果我們不了解複雜的技術是如何運作的，那麼它們的潛力會更容易被自私的精英和公司利用。由此帶來的結果會在我們周圍隨處可見。我們每天遇到的複雜且不透明的系統和不平等、暴力、民粹主義和原教旨主義的全球問題之間，存在着因果關係。

我們似乎進入了一個充斥着更加離奇和不可預見的事件的新黑暗時代，而不是一個技術進步會給世界帶來希望和解放的烏托邦式未來。更廣泛地傳播更多信息的啟蒙運動思想，並沒有讓我們促進人們的相互理解和世界和平，相反，它似乎在助長社會分裂、不信任、陰謀論和後真相政治。要理解正在發生的事情，有必要了解我們的技術是如何運作的，以及我們是如何變得對它們抱有如此大的信心的。

雲是互聯網的核心隱喻：一個強大的、近乎無法捉摸的全球系統。

在20世紀50年代，一個新的符號開始進入電氣工程師繪製來描述其所構建的系統的圖解當中：一個模糊的圓圈，或者說一個馬勃菌，又或者一個思想泡泡。最終，它的形狀變成了雲的形狀。不管工程師在做什麼，它都可以連接到這個雲上，這就是你需要知道的。另一個雲可能是一個電力系統，或者一個數據交換系統，又或者另一個計算機網絡。無論是什麼，都不重要。雲是降低複雜性的一種方式，它可以讓你專注於處理手頭的問題。隨着時間的推移，隨着網絡變得越來越大，越來越互聯，雲變得越來越重要。它變成了一個商業熱詞和一個賣點。它變得不只是一種工程符號了；它變成了一種隱喻。

如今，雲是互聯網的核心隱喻：一個擁有巨大力量和能量的全球系統，不過它仍保留着某種難以捉摸、幾乎無法把握的東西的味道。我們在它裡面工作；我們從它那裡儲存和取回東西；它是某種我們一直在接觸，但卻沒有真正理解的東西。但這個隱喻有一個問題：雲不是某個神奇而遙遠的地方：由水蒸氣和無線電波構成的，上面的一切都在有效運轉。它是一種物理基礎設施，包含電話線、光纖、衛星、海底電纜以及放滿計算機的巨大倉庫，這些倉庫需要消耗大量的水和能源。被雲吸納的是許多以前在公眾領域很重要的建築：我們購物、獲取銀行服務、社交、借書和投票的地方。因此，被遮蔽起來以後，它們變得不那麼顯眼，也不那麼容易受到批評、調查和監管的影響。

在過去的幾十年裡，世界各地的交易大廳都陷入了沉默，因為人們被大量自動交易的電腦所取代。數字化意味着，股票交易所內部和之間的交易會越來越快。當交易落入機器手中時，機器幾乎可以立即對市場的情況做出反應。前物理學博士學生設計的高頻交易(HFT)算法進入了市場，交易員給它們起了諸如“The Knife”的名字，因為它們可以利用毫秒級的時間優勢。它們能夠從每筆交易中賺得一分一毫，而且一天可以做到數百萬次。

在這些大規模加速且不透明的市場中，發生了某種非常怪異的事情。2010年5月6日，道瓊斯指數開盤低開，在接下來的幾個小時裡因為希臘債務危機的消息而緩慢下跌。但在下午2點42分，該指數開始迅速下跌。在不到五分鐘的時間裡，該指數被抹去了600點。在最低點時，該指數比前一天的平均水平低了近1000點，幾乎是其總價值的10%，也創下了市場歷史上最大的單日跌幅。到下午3點07分，在短短25分鐘內，它幾乎收復了所有的600點，這是有史以來幅度最大且最快速的震盪。

在那25分鐘的混亂中，價值560億美元的20億股股票易手。更令人擔憂的是，許多訂單是在證券交易委員會所謂的“非理性價格”下執行的：低至一美分，高至10萬美元。這一事件被稱為“閃電崩盤”，多年後仍處在調查和爭論的旋渦中。

交易員可能會做長線，而機器面對不確定性則會選擇儘快退出市場。

監管機構的一份報告發現，高頻交易員加劇了價格波動。在眾多的高頻交易程序中，許多都有硬編碼的賣出價位：被程序設定為立即賣出股票的價格。隨着價格開始下跌，許多程序同時被觸發賣出。隨着一個個的價位被跳過，隨後的價格下跌觸發了另一套算法自動賣出他們的股票，從而產生了反饋效應。因此，價格下跌的速度超出了人類交易者的反應速度。經驗豐富的市場參與者或許能夠通過做長線來應對崩盤，穩定局面，而機器面對不確定性則會選擇儘快退出市場。

其他的一些理論則指責這些算法引發了危機。從數據中識別出的一種手法是，高頻交易程序向交易所發送大量“不可執行”的指令——即指令中買入或賣出股票的報價遠遠超出正常價格範圍，因此它們會被忽視。這種指令的目的並不是為了真正傳達信息或者賺錢，而是為了故意給系統製造混亂，以便在混亂中執行其他更有價值的交易。許多從未要打算執行的指令實際上已經被執行，從而導致了市場劇烈的波動。

閃電崩盤現在是採用新技術的市場的一個公認特徵，但人們對它仍然非常缺乏了解。2016年10月，算法對有關英國退歐談判的負面頭條新聞做出反應，在不到兩分鐘的時間裡，英鎊兌美元匯率下跌了6%，隨後卻幾乎立即出現反彈。知道哪個頭條新聞或者哪個算法導致這起崩盤事故，幾乎是不可能的。2012年10月，一個亂七八糟的算法開始下達和取消訂單，導致美國股市有4%的交易流量被吞噬掉。對此，一位評論人士諷刺地說，“這個算法的動機還不清楚”。

2013年4月23日下午1點07分，美聯社向其200萬關注者發出了一條推文：“突發新聞：白宮發生兩起爆炸，巴拉克?奧巴馬(Barack Obama)受傷。”這條消息的發出是因為美聯社賬號被侵入，隸屬於敘利亞總統巴沙爾·阿薩德(Bashar al-Assad)的敘利亞電子軍(Syrian Electronic Army)後來聲稱為此負責。美聯社和其他的媒體記者很快就在網站上發出警告，稱那條消息是假的。然而，面對傳出的突發新聞，算法並沒有這種鑑別能力。下午1點8分，道瓊斯指數暴跌。在大多數人還沒看到那條虛假推文之前，該指數在兩分鐘內就下跌了150點，而後又反彈至之前的水平。期間，該股票市場的市值一度蒸發了1360億美元。

華碩Zenbo機器人。作為一款智能家居助手，Zenbo使用攝像頭來防止撞到牆上，

並使用揚聲器和麥克風來響應用戶的語音命令。

計算技術越來越多地被跨層級，越來越多地隱藏在我們日常生活中的物體當中，隨着它的擴張，不透明性和不可預測性也會增加。三星在2015年推出的“智能冰箱”系列的一大賣點是，它們與谷歌的日曆服務整合在一起，讓用戶可以直接在廚房裡安排食品雜貨配送。這也意味着，黑客如果能夠訪問當時並不夠安全的機器，就可以讀取用戶的Gmail賬號密碼。德國的研究人員發現了一種方法，可以將惡意代碼嵌入飛利浦支持WiFi的Hue燈泡中，然後惡意代碼可以從一個燈泡裝置傳播到另一個傳播裝置，擴散到整個建築，甚至是整個城市，讓燈泡快速打開和關閉——在一種可能的情況下——還會引發光敏癲癇。這是托馬斯·品欽(Thomas Pynchon)著作《萬有引力之虹》(Gravity’s Rainbow)里的燈泡Byron所青睞的方法，這是小機器對其創造者的暴政進行的一場大起義。曾經虛構的技術暴力的可能性正通過物聯網實現。

在金·斯坦利·羅賓遜（Kim Stanley Robinson）的小說《極光》(Aurora)中，一艘智能宇宙飛船將一群人類船員從地球運送到一個遙遠的恆星。這趟旅程需要花費好幾輩子的時間，所以飛船的工作之一就是確保人類照顧好自己。當他們的脆弱社會分崩離析，威脅到使命的執行的時候，飛船會通過部署安全系統來實施控制：它能夠通過傳感器看到任何的地方，能夠隨意打開或密封船上的門，能夠通過其通訊設備大聲說話來引起人的身體疼痛，還能夠使用滅火系統來減少特定的空間內的氧氣水平。

這大致類似於現在來自谷歌及其合作夥伴的設備套裝的運作：針對家庭安全的網絡攝像機網絡，智能門鎖，能夠給單個房間調整溫度的恆溫器，會發出刺耳警報聲的火和侵入者檢測系統。這意味着，任何一個成功的黑客都能夠擁有像隨意控制船員的Aurora或者反抗可惡的主人的Byron一樣的能力。

在駁斥來自科幻小說作家的狂想的這類場景之前，不妨再想想證券交易所中的那些流氓算法。這些並不是孤立事件，而是複雜系統中的日常事件。那麼問題就變成了，在更廣泛的現實中，流氓算法或閃電崩盤會是什麼樣呢？

比如，它會不會像惡意軟件Mirai那樣呢？2016年10月21日，Mirai使大片互聯網癱瘓了幾個小時。當研究人員深入研究Mirai時，他們發現它瞄準那些安全性不足的聯網設備——從安全攝像頭到數字錄像機——然後把它們變成了一群機器人。在短短幾周內，Mirai感染了50萬台設備，它只需要感染一小部分的設備就可以使得重要的網絡癱瘓數小時。

事實上，Mirai看起來完全不像Stuxnet，後者是2010年在水力發電廠和工廠裝配線的工業控制系統中發現的另一個病毒。Stuxnet是一種軍用級別的網絡武器；在進行解包分析時，它被發現是專門針對西門子離心機的，當它遇到一個擁有特定數量的此類機器的設施時，它就會爆發。那個數字對應於一個特定的設施：在伊朗的納坦茲核設施。一旦啟動，該程序會悄悄降解離心機的關鍵部件，導致它們崩潰並破壞伊朗的鈾濃縮計劃。

該攻擊顯然取得了部分成功，但這種攻擊對其他受感染設施的影響尚不可知。直到今天，儘管有明顯的嫌疑，但沒有人知道Stuxnet來自哪裡，或者是誰製造的。也沒有人知道是誰開發了Mirai，或者它的下一個版本可能來自哪裡，但它現在有可能就在你辦公室的閉路電視攝像頭裡，或者在放置於你廚房角落的支持WiFi的水壺裡。

或者，也許攻擊會是這樣的：一系列大片電影變得迎合右翼陰謀和生存主義幻想，從准法西斯主義超級英雄(《美國隊長》和蝙蝠俠系列)到酷刑和暗殺的辯護(《刺殺本·拉登》，《美國狙擊手》)。在好萊塢，電影公司通過一個叫做Epagogix的公司的神經網絡來運作它們的劇本。Epagogix系統利用數以百萬計的電影觀眾在過去幾十年裡形成的隱含偏好數據進行了訓練，目的是預測什麼樣的台詞會最能引起人們的共鳴——也就是最有利可圖的。算法引擎藉助來自Netflix、Hulu、YouTube和其他網站的數據得到強化，同時能夠了解數百萬視頻觀眾的實時偏好，因此它們能夠獲得某種程度的認知洞察力，這是以往的機制完全無法實現的。通過直接滋養消費者的追劇欲望，那種網絡本身就會變得興奮起來：反思、加強和升高系統固有的偏執性。

遊戲開發人員在A/B測試界面和對玩家行為的實時監控的指導下，進入無休止的遊戲更新和應用內購買循環當中。他們對人類產生多巴胺的神經通路有着極為細緻的把握，以至於嚴重上癮的青少年晝夜不停地玩那些遊戲，最終因為精疲力竭而死在電腦前。

或者，閃電崩盤也許看起來就像是一場網上人人都能看到的噩夢般的直播？2015年夏天，雅典一家醫院的睡眠障礙診所比以往任何時候都忙碌：希臘債務危機正處於最動盪的時期。患者當中不乏高級政府官員和公務員，但是那些在夜間監控他們的呼吸、移動甚至大聲說出的夢話的機器，將那些信息以及他們的個人醫療信息發送回了設備製造商位於北歐的診斷數據中心。什麼樣的竊竊私語才會逃過這些這種設施的追蹤呢？

用戶被鼓勵把手機放在床上，以便記錄他們的睡眠模式。但這些數據都到哪裡去了呢？

我們可以通過將技術附在身體表面來記錄我們日常生活的方方面面，技術提供商讓我們相信我們也可以像我們的設備一樣進行優化和升級。智能手環和智能手機應用集成了步數計數器和皮膚感應監測器，它們不僅可以跟蹤我們的位置，還可以跟蹤我們的呼吸和心跳，甚至是我們的腦電波模式。用戶被鼓勵晚上把手機放在床邊，這樣就可以記錄他們的睡眠模式。所有的這些數據都跑到哪裡了，誰擁有它，什麼時候有可能會泄露出來？關於我們的夢、我們的夜驚和清晨的流汗（我們潛意識自我的本質）的數據，變成了進一步驅動冷酷無情和不可理解的系統的燃料。

或者，現實中的閃電崩盤也許看起來就像我們現在正在經歷的一切東西：經濟不平等日益加劇，全球監控增加，個人自由縮減，跨國公司和神經認知資本主義的勝利，極右翼組織和本土主義意識形態的崛起，自然環境的惡化……這些都不是新技術的直接結果，但所有這些都是因為普遍無法感知個體和公司行動更廣泛的、網絡化的影響所導致的，而那些行動正是由不透明的、技術增強的複雜體系促成的。

1997年，國際象棋世界冠軍加里·卡斯帕羅夫(Garry Kasparov)在紐約與“深藍”(Deep Blue)進行了第二次對決。深藍是IBM專門設計的用來擊敗該大師級棋手的電腦。在輸掉比賽以後，他聲稱深藍的一些棋步非常聰明，富有創意，它們一定是人為干預的結果。但我們理解深藍為何會作出那些棋步：它的決策過程說到底是一種暴力破解，其背後是一個由1.4萬個定製設計的象棋芯片組成的大規模並行架構，每秒能夠分析2億個棋盤位置。卡斯帕羅夫並不是輸在智力上，只是輸在“火力”上而已。

國際象棋冠軍加里·卡斯帕羅夫與IBM深藍電腦(Deep Blue)對戰。

到谷歌由Google Brain驅動的AlphaGo軟件在2016年與韓國職業圍棋選手李世石(Lee Sedol)較量時，發生了某種變化。在五局比賽的第二局中，AlphaGo下出了讓李世石十分驚訝的一步棋：將一顆棋子放在棋盤的遠端。“那步棋非常奇怪。”一位解說員說道。“我覺得這是一次失誤。”另一位解說員說道。6個月前，經驗豐富的圍棋手樊麾成為了第一個輸給這台機器的職業選手。在他看來，“人類是不會這麼下的，我從來沒見過有人這麼做。”

AlphaGo後來贏得了那一局以及整個系列賽。AlphaGo的工程師訓練該軟件的方式是，給神經網絡輸入涵蓋大師級圍棋棋手數百萬棋步的數據，然後讓它不停地跟自己對戰，開發出超越人類棋手的策略。但它展現出的那些策略是難以辨認的：我們可以看到它怎麼下，但看不到它背後的決策過程。

已故的著名作家伊恩·班克斯（Iain Banks）將那個想出這些棋步的地方為“極樂空間”（Infinite Fun Space）。在班克斯的科幻小說中，他的文化文明是由仁慈的、超智能的人工智能(簡稱Mind)治理的。雖然Mind最初是由人類創造的，但它們早已重新設計和重構了自己，成為了無所不能的存在。在控制船隻和行星的時候，在指揮戰爭和照顧數十億人類的時候，Mind也有它們自己的樂趣。一些Mind有能力在其想象中模擬整個宇宙的運行，它們會永遠地退回極樂空間——一個具有元數學的可能性的領域，只有超人的人工智能才能進入。

2016年，谷歌的三個網絡開發了一種私密的加密形式。那些機器正在學習保守秘密。

我們很多人都熟悉谷歌翻譯（Google Translate），它是在2006年推出的，使用了一種叫做統計語言推理的技術。該系統並沒有去試圖理解語言的實際機制，而是吸收了大量已有的翻譯資料：以不同語言提供相同內容的平行文本。通過簡單地將一種語言的字詞映射到其它語言的字詞，它免去了習得人類般的理解能力的需要，而是依靠由數據驅動的相關性。

谷歌翻譯因其讓人啼笑皆非的錯誤而眾所周知，但在2016年，該系統開始使用Google Brain開發的神經網絡，其能力呈指數級增長。該網絡不是簡單地交叉引用成堆的文本，而是構建自己的世界模型。這麼做帶來的結果不是單詞之間的一組二維連接，而是一整個版圖。在這個新的體繫結構中，單詞在一個含義網格中是根據它們與其它單詞之間的距離進行編碼的——該網格只有計算機才能理解。

雖然人類可以很容易地在“tank”（坦克）和“water”（水）之間劃一條界線，但要在一張地圖上畫出“tank”和“revolution”（革命）之間的界限、“water”和“liquidity”（流動性）之間的界線以及從那些聯繫中產生的所有情緒和推斷，一下子就變得不可能了。因此，這張地圖是多維的，延伸的方向比人腦所能理解的要更多。。正如一位谷歌的工程師所說的那樣，當一位記者索要一張這樣的系統的圖像時，他說：“我通常不喜歡嘗試在三維空間中可視化千維向量。”這是機器學習系統理解語言含義時所在的看不見的空間。除此之外，對於我們無法想象的空間，我們也無法去理解。

同年，Google Brain的其他研究人員建立了三個網絡，它們分別叫做愛麗絲（Alice）、鮑勃（Bob?）和伊芙（Eve）。他們的任務是學習如何加密信息。愛麗絲和鮑勃都知道一個數字——一個密碼學術語中的密鑰——而伊芙不知道。愛麗絲會對一串文本執行一些操作，然後將其發送給鮑勃和伊芙。如果鮑勃能解碼該信息，愛麗絲的分數就會增加；但是如果伊芙能做到，愛麗絲的分數就會減分。

經過數千次的迭代，愛麗絲和鮑勃學會了在伊芙沒有破解他們的密碼的情況下進行通信：他們開發了一種私密的加密形式，它類似於現在用於私人郵件的加密工具。但關鍵的是，我們不了解這種加密是如何運作的。它的運行被網絡的深層結構所阻斷。伊芙不知道的東西，我們也不知道。那些機器正在學習保守秘密。

"我們不能不思考那種網絡；我們只能把它徹底思考清楚，並在它裡面思考。"

我們如何理解和思考我們在世界上的位置，以及我們與他人和機器之間的關係，最終將決定我們的技術將把我們帶向什麼地方。我們不能不思考那種網絡；我們只能把它徹底思考清楚，並在它裡面思考。那些影響和改變我們當前對現實的看法的技術不會消失，在許多情況下，我們也不應該希望它們消失。在這個擁有75億人口的星球上，我們目前的生命維持系統依賴於它們。理解那些系統以及我們在它們的設計中做出的有意識的選擇，仍然完全在我們的能力範圍內。我們不是無能為力。我們只需要思考，再思考，持續不斷地思考。網絡——我們、我們的機器以及我們一起思考和發現的東西——需要我們那麼做。

作為工具，計算系統強調人類最強大的一面：我們在世界上有效行動，以及根據我們的欲望塑造世界的能力。但揭示和闡明那些欲望，並確保它們不會貶低、否定、抹去或消除他人的欲望，仍然是我們的特權。

在1997年被擊敗以後，卡斯帕羅夫並沒有放棄比賽。一年後，他以一種新的形式回到了競技場上：高級象棋，或者說半人馬象棋。在高級國際象棋中，人類是與機器合作，而不是競爭。很快我們就明白這種模式帶來了有趣的結果。即便是中等水平的國際象棋電腦，也能把大多數的大師打得一敗塗地；而一個普通水平的棋手聯手一台普通的電腦，就能打敗最高級的超級計算機——這種結合不同思維方式的玩法，徹底改變了這項比賽。人機合作是否可行——將來又是否准許——仍有待觀察，畢竟現在有各種各樣的複雜機器和管理系統在開發當中，但相比模糊處理和一方統治，人類和機器共同理解和思考提供了一種更有希望的出路。

我們的技術是我們自身的延伸，被編碼到了機器和基礎設施當中，採用由知識和行動構成的框架。計算機的存在並不是為了給予我們所有問題的答案，而是為了讓我們以新的方式向宇宙提出新的問題。