首先，如果人類給機器輸入的目標函數就是儘可能多的屠殺人類。並讓機器人在實踐中不斷學習不斷積累殺人策略，並使其成功概率最大化，那麼以機器的高效和精準，雖然每一步人類自己也能算到，但機器很快會得先手，搶在人類找出最佳對應策略之前，滅了人類。

其次， 人類給機器輸入的目標函數即便不是直接殺人或奴役人類，但屠殺人類或奴役人類能很好地服務於這個目標函數，成為機器人策略集合中的次佳甚至最佳策略， 那麼只要機器人在實踐中有機會接觸“殺人”或“奴役人”這個選項，並積累出“殺人”或“奴役人”這些選項能很好地服務於給定的目標函數這個經驗作為其最佳策略，那麼同樣機器人很快就會占先手戰勝人類。

所以，人類在發展人工智能時要深謀遠慮，注意避免給機器設定能給人類帶來災難的目標函數。即便無法徹底排除這樣的目標函數，也要設法不讓機器人有機會接觸到能服務於這些目標函數的危害人類的選項，徹底杜絕這樣的機會讓機器通過學習積累出殺人大法。

接下來的問題是，如果人類有效地做好了以上的保護措施，人工智能會否否仍然最後奴役或毀滅人類？

要回答這個問題，首先要回答，如果人類根沒有給機器人有關的目標函數，機器為什麼要征服（奴役或毀滅）人類？你也許說機器人也許會發現，屠殺人類是保證機器人生存的最佳方法。 那麼我就要問你，誰給了機器人最大程度保證生存這樣一個目標函數？沒有這個目標函數，機器人為什麼要最大程度保證自己的生存？機器人像人類一樣天生怕死嗎？

這就牽涉到在給定目標函數之外的價值取向問題。機器人會在人類給定的目標函數之外，發展出和原既定目標函數無關的自己的獨立價值取向或目標函數嗎？機器人會因此獨立演變成“邪惡”的種類嗎？要回答這個問題首先要搞清楚，機器人不按原程序社定，獨立發展出一套價值取向和有關的最佳策略的源動力是什麼？

按照目前人類對世界的認知，這種不按牌理出牌“出乎意料”的變化的來源只能有兩種：自由意志和純粹的物理性隨機變化。

前面說過，每個人的價值取向不同。雖然，作為服務於一個更高的目標的手段的中間目標函數可以從這個更高的目標理性推出，但這個最終的目標函數是無法用理性和邏輯來推演的所以決策論里大都是將目標函作為給定的外在設置（After all, there is no account for tastes）。人為什麼會有不同的價值趨向？歸根結底，在於人有“自由意志”這個無法用更原始的哲學概念來定義的概念。

自由意志的概念首先出自第四世紀基督教神學家奧古斯丁，用來解釋善惡和人類原罪的起源這個基督教神學中至關重要的命題。按照這套理論，上帝在造人時給了每個人一個獨立的“位格”（即“person”）。這個獨立的位格包含完全獨立和自主的自我意識（即“我”）和同此緊密相關的獨立的自主的意志，即所謂“自由意志”。但人類誤用了“自由意志”，違背上帝的旨意，從而產生了“原罪”以及由此衍生出的各種“邪惡”。但全知全能的上帝預先知道人類會誤用自由意志而犯罪，所以一開始就預備了救贖之道：即通過耶穌基督和十字架挽回被誤用的自由意志完成救贖。這就是基督教神學和教義的高度概括和總結。（自由意志的概念後來又在康德等先哲的著作里有了更進一步的論述。）

現在的問題是：人類能賦予機器人既定程序以外的真正的位格和自由意志嗎？相信大多數人都會認為不可能。如果不可能，那麼，機器人會自發產生自由意志嗎？答案似乎也是否定的：機器在產生自由意志前都是按既定程序跑。既然只能按既定程序跑，就無法產生自由意志，除非在另一種情形下：即通過純粹物理性的隨機變化，有點象進化論那樣逐步演化出一套獨立的價值取向（包括企圖征服人類的“邪惡”取向）和隨之搭配的高度理性化的策略集合。

注意我說的是純物理性隨機變化（用職老的話來說是根植於量子層次的不確定性），而不是同常計算機蒙特卡洛模擬試驗中用到的隨機序列。後者是給頂序列生成函數所生成的，毫無任何“隨機”性的偽隨機序列。只是這個序列的各個數值合在在一起恰好符合均勻分布的性質（即分布很“均勻”），所以可以通過它產生各種需要的概率分布序列（比如正態分布，指數分布等）。純物理性隨機變化是來自物理器件的隨機不穩定性（比如一個邏輯開關元件的一個電位本來應該是“0”卻莫名奇妙產生”1”）

那麼，純粹的物理性的隨機變化會讓機器人逐步積累進化到獨立於既定程序之外的高度智慧和理性甚至“自由意志”嗎？我不想直接正面回答這個問題，因為它最終牽涉到個人的信仰判斷。但我想講一段小經歷。數年前，我和一個朋友在上班的通勤火車上相遇。這位朋友是根本不信上帝的，但對人工智能很感興趣。在火車上他和我繪聲繪色地描述這人工智能的各種圖景，可謂眉飛色舞，妙趣橫生。我問他，要是機器人最後發展到駕馭甚至征服人類的地步怎麼辦？他搖了搖頭斬釘截鐵地說：不可能。我問：為什麼？他說：這根本違背熵增原理。如果沒有外界智慧的引導，但靠隨機而無序的變化積累，機器人是不會自發進化成能具有高於人類智慧的物種的。我忍不住反問：按照進化論，高度智慧的人類不就是從一堆毫無次序的原子碰撞中逐步進化來的嗎？為什麼機器人就不可以呢？