首先，如果人类给机器输入的目标函数就是尽可能多的屠杀人类。并让机器人在实践中不断学习不断积累杀人策略，并使其成功概率最大化，那么以机器的高效和精准，虽然每一步人类自己也能算到，但机器很快会得先手，抢在人类找出最佳对应策略之前，灭了人类。

其次， 人类给机器输入的目标函数即便不是直接杀人或奴役人类，但屠杀人类或奴役人类能很好地服务于这个目标函数，成为机器人策略集合中的次佳甚至最佳策略， 那么只要机器人在实践中有机会接触“杀人”或“奴役人”这个选项，并积累出“杀人”或“奴役人”这些选项能很好地服务于给定的目标函数这个经验作为其最佳策略，那么同样机器人很快就会占先手战胜人类。

所以，人类在发展人工智能时要深谋远虑，注意避免给机器设定能给人类带来灾难的目标函数。即便无法彻底排除这样的目标函数，也要设法不让机器人有机会接触到能服务于这些目标函数的危害人类的选项，彻底杜绝这样的机会让机器通过学习积累出杀人大法。

接下来的问题是，如果人类有效地做好了以上的保护措施，人工智能会否否仍然最后奴役或毁灭人类？

要回答这个问题，首先要回答，如果人类根没有给机器人有关的目标函数，机器为什么要征服（奴役或毁灭）人类？你也许说机器人也许会发现，屠杀人类是保证机器人生存的最佳方法。 那么我就要问你，谁给了机器人最大程度保证生存这样一个目标函数？没有这个目标函数，机器人为什么要最大程度保证自己的生存？机器人像人类一样天生怕死吗？

这就牵涉到在给定目标函数之外的价值取向问题。机器人会在人类给定的目标函数之外，发展出和原既定目标函数无关的自己的独立价值取向或目标函数吗？机器人会因此独立演变成“邪恶”的种类吗？要回答这个问题首先要搞清楚，机器人不按原程序社定，独立发展出一套价值取向和有关的最佳策略的源动力是什么？

按照目前人类对世界的认知，这种不按牌理出牌“出乎意料”的变化的来源只能有两种：自由意志和纯粹的物理性随机变化。

前面说过，每个人的价值取向不同。虽然，作为服务于一个更高的目标的手段的中间目标函数可以从这个更高的目标理性推出，但这个最终的目标函数是无法用理性和逻辑来推演的所以决策论里大都是将目标函作为给定的外在设置（After all, there is no account for tastes）。人为什么会有不同的价值趋向？归根结底，在于人有“自由意志”这个无法用更原始的哲学概念来定义的概念。

自由意志的概念首先出自第四世纪基督教神学家奥古斯丁，用来解释善恶和人类原罪的起源这个基督教神学中至关重要的命题。按照这套理论，上帝在造人时给了每个人一个独立的“位格”（即“person”）。这个独立的位格包含完全独立和自主的自我意识（即“我”）和同此紧密相关的独立的自主的意志，即所谓“自由意志”。但人类误用了“自由意志”，违背上帝的旨意，从而产生了“原罪”以及由此衍生出的各种“邪恶”。但全知全能的上帝预先知道人类会误用自由意志而犯罪，所以一开始就预备了救赎之道：即通过耶稣基督和十字架挽回被误用的自由意志完成救赎。这就是基督教神学和教义的高度概括和总结。（自由意志的概念后来又在康德等先哲的著作里有了更进一步的论述。）

现在的问题是：人类能赋予机器人既定程序以外的真正的位格和自由意志吗？相信大多数人都会认为不可能。如果不可能，那么，机器人会自发产生自由意志吗？答案似乎也是否定的：机器在产生自由意志前都是按既定程序跑。既然只能按既定程序跑，就无法产生自由意志，除非在另一种情形下：即通过纯粹物理性的随机变化，有点象进化论那样逐步演化出一套独立的价值取向（包括企图征服人类的“邪恶”取向）和随之搭配的高度理性化的策略集合。

注意我说的是纯物理性随机变化（用职老的话来说是根植于量子层次的不确定性），而不是同常计算机蒙特卡洛模拟试验中用到的随机序列。后者是给顶序列生成函数所生成的，毫无任何“随机”性的伪随机序列。只是这个序列的各个数值合在在一起恰好符合均匀分布的性质（即分布很“均匀”），所以可以通过它产生各种需要的概率分布序列（比如正态分布，指数分布等）。纯物理性随机变化是来自物理器件的随机不稳定性（比如一个逻辑开关元件的一个电位本来应该是“0”却莫名奇妙产生”1”）

那么，纯粹的物理性的随机变化会让机器人逐步积累进化到独立于既定程序之外的高度智慧和理性甚至“自由意志”吗？我不想直接正面回答这个问题，因为它最终牵涉到个人的信仰判断。但我想讲一段小经历。数年前，我和一个朋友在上班的通勤火车上相遇。这位朋友是根本不信上帝的，但对人工智能很感兴趣。在火车上他和我绘声绘色地描述这人工智能的各种图景，可谓眉飞色舞，妙趣横生。我问他，要是机器人最后发展到驾驭甚至征服人类的地步怎么办？他摇了摇头斩钉截铁地说：不可能。我问：为什么？他说：这根本违背熵增原理。如果没有外界智慧的引导，但靠随机而无序的变化积累，机器人是不会自发进化成能具有高于人类智慧的物种的。我忍不住反问：按照进化论，高度智慧的人类不就是从一堆毫无次序的原子碰撞中逐步进化来的吗？为什么机器人就不可以呢？