為什麼人工智能必將威脅我們的文明

作者：上海交通大學科學史與科學文化研究院院長 江曉原 南方周末記者 朱曉佳

2016-12-26 21:29:10

江曉原說，一般人最擔心的是人工智能失控、反叛，都沒有想到其終極威脅。（南方周末資料圖/圖）

我本人是學天體物理出身的，算是科學家，在天文台工作過十幾年，對科學有一些了解，但我並不從事人工智能的研究。對於人工智能，我是完全反對的，我認為人類現在正在玩的火有那麼兩三把，其中最危險的就是人工智能，但是很多人並沒有認識到這一點。

我們可以從近期、中期和遠期三個層面來看人工智能的威脅。

近期主要的問題是會導致大規模的失業和大規模的軍事化應用，中期是公眾相對了解最多的，就是擔心人工智能失控、反叛；但是遠期的終極威脅很多人都沒有想到。

在每一期威脅上都有很多錯誤的認識。最常見的一種是：現在的人工智能還很弱小，我們擔心的什麼反叛、失控，都太遙遠了。這種理由是非常荒謬的，想想“養虎遺患”是什麼意思？能用“老虎還小”作為你的理由嗎？

我們首先看近期的危險。在這個方面，人工智能的專家們也祭出了一些非常幼稚的理由，他們首先對我們許諾說，在可見的將來，95%甚至95%以上的工作崗位，都將可以由人工智能來取代。如果真的像他們說的那樣，那就意味着我們社會中的絕大部分人都將失業，只剩下少數人工作養活所有人。這樣的社會結構，人類有史以來還沒有出現過。

現在有10%或者15%的人失業，我們就說失業率高企，這個社會社會很危險了。那要是到了85%、95%的人都不需要工作的時候，他們會幹什麼呢？你可以說他們不叫失業，現在讓機器人工作，養活我們就行了，他們只要在家裡吃喝玩樂就行了。這個時候你要當心，人們除了吃喝玩樂，還要做另外一件事情：他們要鬧革命，95%的工作都可以被取代的話，可以猜想，連革命也可以讓機器人來進行。而由機器人進行的革命，在很多科幻電影裡大家都已經看到了，比如說《機械公敵》的結尾，廣場上是一望無際的機器人，這樣的社會非常危險。

搞人工智能的專家經常跟我們說，人類歷史上每次重要的技術革命產生的時候，都失去了一些工作崗位，但是接着都造成了新的崗位。當他們找出這種理由來的時候，在邏輯上已經犯錯誤了。因為他們之前承諾的95%的崗位都可以由機器人來完成就不成立了。

事實上，人工智能造成的對人工的取代，跟以往的情形完全不一樣。原來我們可以說，有了汽車，馬車夫失業了不要緊，可以改為開汽車；可是現在汽車本身都是智能的了，用不着人去開它了，所以大規模失業實際上是一個非常危險的事情。我覺得我們不能僅僅因為從降低成本考慮使用機器人。如果你換用了機器人以後，產業能夠升級，那也許還能考慮，儘管長遠來說也不好。但如果你僅僅為了降低成本而導致大批工人失業，社會就不安定了。

把機器人弄到軍事用途上當然會很有效，儘管大家都知道阿西莫夫的機器人三定律，任何軍事用途都是直接違反三定律的，但三定律又不是什麼法律，只是小說家的想象。另外，機器人用到軍事用途上，還會帶來更多的倫理問題。比如說我們今天決定往什麼地方扔炸彈，這是由我們人來決定的；現在有智能無人機之類的裝置，需要它自己當場斷定要不要攻擊某一目標，這樣一來就變成由機器人來決定它要不要殺那個人了，這樣的事情在倫理上完全改變了以前戰爭的狀態。

所以我們今天如果把人工智能用到軍事上，我覺得只能抱着類似於當年美國人搞曼哈頓工程的心態，只是因為跟我們的對手也在弄，我們不弄會吃虧，所以不得不跟進。所以特斯拉的老總馬斯克提出來各國應該坐下來談判，簽協定不能把機器人用到軍事用途上。

中期的問題是人工智能的反叛，現在有些業界專家還在說，可以拔掉機器人的電源。實際上人工智能跟互聯網結合以後，它完全不需要什麼形態，以前沒有互聯網的時候，單個的人工智能有局限，哪怕全部都是芯片，也有存儲、運算方面的極限。但是現在跟互聯網一結合，所有的物質結構都不再需要了，只要靠在網絡上下單、訂購各種服務，就可以完成對社會的破壞。所以到那個時候你根本無法拔電源，因為它不存在一個電源讓你拔掉。

在這個問題上，專家們經常說，我們在機器人的芯片裡寫進什麼話，讓它不學壞。關於這個問題最簡單的疑問是，你都不能保證自己的孩子不學壞，更何況人工智能呢？因此，到目前為止，沒有人能給出一個辦法讓我們相信他真的能防止人工智能的反叛。

但是最危險的是來自遠期的威脅，這是終極威脅，假如人工智能一點都不反叛，全能地、忠誠地、全心全意為我們服務，所有的事情都被人工智能做完了，你活着幹什麼呢？你會變成行屍走肉，人類這個物種會迅速退化，無論在體能和智能上都迅速退化，這樣對人類來說一點意義都沒有，實際上就是自掘墳墓。

所以我們應該把人工智能認識為大規模殺傷性武器，最好的局面是將來世界各大國坐下來舉行談判，加以限制。最多保留一點低級的人工智能，但是我們要想辦法防止它的進化。

其實我們在生活中用了很多人工智能，比如說你在網上買一張火車票、飛機票，這個系統就是人工智能。這類人工智能如果不進化問題不大，但是由於人工智能有可能是以極快的速度進化的，這個進化的過程我們很難操控，因此我們能做的就是嚴防它的進化，當然我們能做到什麼程度，這個事情很難說。

我們現在能確定的是現在科學家憋着勁兒要搞人工智能，不確定的是人工智能最後會不會毀滅我們。

“沒人知道臨界點在哪裡”

南方周末：我想知道人工智能對我們造成威脅的一個臨界點可能是什麼。比如說AlphaGO贏了李世石，它是那樣的一個臨界點嗎？

江曉原：討論臨界點意味着我們想找到這個臨界點，但實際上這個臨界點我們雖然在理論上知道它是存在的，但是在哪裡我們不知道，我們現在只能祈求目前還沒有遇到那個點。

南方周末：美劇《西部世界》也講人工智能反抗人類的故事，這部片子您怎麼看？

江曉原：《西部世界》的精彩之處就是它逐漸刻畫出了人工智能的自主意識，也就是你前面說的臨界點。你不知道它什麼時候開始有的，那幾個工程師不是也經常要對它們進行拷問嗎？這個拷問其實就是在擔心它們越過那個臨界點。但是事實上一旦越過了它們不會告訴你，所以這裡面的幾個角色不是都已經開始說謊了嗎？

南方周末：人工智能真的會出現自我意識覺醒這樣的事情嗎？聽起來非常不可思議。

江曉原：我在念大學之前，當過六年的電工。作為一個技術工人，我在那個年代就知道，一個系統只要複雜到一定程度，就會出現不測的事情，而且這些不測的事情對系統本身來說不一定就是壞事。也就是說，在一個足夠複雜的系統裡是有可能失控的，而且你不知道它什麼時候產生。

南方周末：您說很多科學家對此有預見？

江曉原：有，剛剛我提到的特斯拉汽車的老總馬斯克發起了一個聯名倡儀，比爾·蓋茨這些人都在裡面，他們的呼籲主要針對人工智能的軍事化應用。但馬斯克這個人非常奇怪，他一方面發起這個公開信，另一方面他在他自己的工廠里大規模地使用着人工智能。這些事情都反映出人們對人工智能的認知是模糊的，說到底是不確定的。

附：江曉原自己2016，7，29 同題 的博文：

http://blog.sina.com.cn/s/blog_485f2bc80102wrrw.html