江晓原:为什么人工智能必将威胁我们的文明

江晓原:为什么人工智能必将威胁我们的文明

各位好,先是谢谢南方周末邀请我在这里讲这样的题目,因为通常在这种场合,这四位嘉宾里头安排了一个跟科学有关的,通过这个嘉宾都要讲一通展望科学技术发展,给我们带来怎么样美好的前景。但是南方周末居然允许我讲这样的,有点违反潮流的题目,所以我特别为这个向他们表示感谢。


因为这些听众中很多可能对我不一定熟悉,我先声明,我并不是研究人工智能的,如果我是一个人工智能业界的人士,那我肯定不会做这样题目的演讲,那我就将变成一个伪君子。如果我真的是这样认为的话,我根本就应该放弃这个职业不去研究了,如果我研究了,我一定不赞成这个观点的,所以我现在要讲的这个事情肯定跟业界人士的想法不一样。

我本人是学天体物理出身的,算是科学家,在天文台工作过十几年,对科学有一些了解,但我并不从事人工智能的研究。对于人工智能,我是完全反对的,我认为人类现在正在玩的火有那么两三把,其中最危险的就是人工智能,但是很多人并没有认识到这一点。


我们可以从近期、中期和远期三个层面来看人工智能的威胁。


近期主要的问题是会导致大规模的失业和大规模的军事化应用,中期是公众相对了解最多的,就是担心人工智能失控、反叛;但是远期的终极威胁很多人都没有想到。


在每一期威胁上都有很多错误的认识。最常见的一种是:现在的人工智能还很弱小,我们担心的什么反叛、失控,都太遥远了。这种理由是非常荒谬的,想想“养虎遗患”是什么意思?能用“老虎还小”作为你的理由吗?


我们首先看近期的危险。在这个方面,人工智能的专家们也祭出了一些非常幼稚的理由,他们首先对我们许诺说,在可见的将来,95%甚至95%以上的工作岗位,都将可以由人工智能来取代。如果真的像他们说的那样,那就意味着我们社会中的绝大部分人都将失业,只剩下少数人工作养活所有人。这样的社会结构,人类有史以来还没有出现过。


现在有10%或者15%的人失业,我们就说失业率高企,这个社会社会很危险了。那要是到了85%、95%的人都不需要工作的时候,他们会干什么呢?你可以说他们不叫失业,现在让机器人工作,养活我们就行了,他们只要在家里吃喝玩乐就行了。


这个时候你要当心,人们除了吃喝玩乐,还要做另外一件事情:他们要闹革命,95%的工作都可以被取代的话,可以猜想,连革命也可以让机器人来进行。而由机器人进行的革命,在很多科幻电影里大家都已经看到了,比如说《机械公敌》的结尾,广场上是一望无际的机器人,这样的社会非常危险。


搞人工智能的专家经常跟我们说,人类历史上每次重要的技术革命产生的时候,都失去了一些工作岗位,但是接着都造成了新的岗位。当他们找出这种理由来的时候,在逻辑上已经犯错误了。因为他们之前承诺的95%的岗位都可以由机器人来完成就不成立了。


事实上,人工智能造成的对人工的取代,跟以往的情形完全不一样。原来我们可以说,有了汽车,马车夫失业了不要紧,可以改为开汽车;可是现在汽车本身都是智能的了,用不着人去开它了,所以大规模失业实际上是一个非常危险的事情。我觉得我们不能仅仅因为从降低成本考虑使用机器人。如果你换用了机器人以后,产业能够升级,那也许还能考虑,尽管长远来说也不好。但如果你仅仅为了降低成本而导致大批工人失业,社会就不安定了。


把机器人弄到军事用途上当然会很有效,尽管大家都知道阿西莫夫的机器人三定律,任何军事用途都是直接违反三定律的,但三定律又不是什么法律,只是小说家的想象。另外,机器人用到军事用途上,还会带来更多的伦理问题。比如说我们今天决定往什么地方扔炸弹,这是由我们人来决定的;现在有智能无人机之类的装置,需要它自己当场断定要不要攻击某一目标,这样一来就变成由机器人来决定它要不要杀那个人了,这样的事情在伦理上完全改变了以前战争的状态。


所以我们今天如果把人工智能用到军事上,我觉得只能抱着类似于当年美国人搞曼哈顿工程的心态,只是因为跟我们的对手也在弄,我们不弄会吃亏,所以不得不跟进。所以特斯拉的老总马斯克提出来各国应该坐下来谈判,签协定不能把机器人用到军事用途上。


中期的问题是人工智能的反叛,现在有些业界专家还在说,可以拔掉机器人的电源。实际上人工智能跟互联网结合以后,它完全不需要什么形态,以前没有互联网的时候,单个的人工智能有局限,哪怕全部都是芯片,也有存储、运算方面的极限。但是现在跟互联网一结合,所有的物质结构都不再需要了,只要靠在网络上下单、订购各种服务,就可以完成对社会的破坏。所以到那个时候你根本无法拔电源,因为它不存在一个电源让你拔掉。


在这个问题上,专家们经常说,我们在机器人的芯片里写进什么话,让它不学坏。关于这个问题最简单的疑问是,你都不能保证自己的孩子不学坏,更何况人工智能呢?因此,到目前为止,没有人能给出一个办法让我们相信他真的能防止人工智能的反叛。


但是最危险的是来自远期的威胁,这是终极威胁,假如人工智能一点都不反叛,全能地、忠诚地、全心全意为我们服务,所有的事情都被人工智能做完了,你活着干什么呢?你会变成行尸走肉,人类这个物种会迅速退化,无论在体能和智能上都迅速退化,这样对人类来说一点意义都没有,实际上就是自掘坟墓。


所以我们应该把人工智能认识为大规模杀伤性武器,最好的局面是将来世界各大国坐下来举行谈判,加以限制。最多保留一点低级的人工智能,但是我们要想办法防止它的进化。



其实我们在生活中用了很多人工智能,比如说你在网上买一张火车票、飞机票,这个系统就是人工智能。这类人工智能如果不进化问题不大,但是由于人工智能有可能是以极快的速度进化的,这个进化的过程我们很难操控,因此我们能做的就是严防它的进化,当然我们能做到什么程度,这个事情很难说。


我们现在能确定的是现在科学家憋着劲儿要搞人工智能,不确定的是人工智能最后会不会毁灭我们。



对话


“没人知道  临界点在哪里”

南方周末记者朱晓佳



南方周末:我想知道人工智能对我们造成威胁的一个临界点可能是什么。比如说AlphaGO赢了李世石,它是那样的一个临界点吗?


江晓原:讨论临界点意味着我们想找到这个临界点,但实际上这个临界点我们虽然在理论上知道它是存在的,但是在哪里我们不知道,我们现在只能祈求目前还没有遇到那个点。


南方周末:美剧《西部世界》也讲人工智能反抗人类的故事,这部片子您怎么看?


江晓原:《西部世界》的精彩之处就是它逐渐刻画出了人工智能的自主意识,也就是你前面说的临界点。你不知道它什么时候开始有的,那几个工程师不是也经常要对它们进行拷问吗?这个拷问其实就是在担心它们越过那个临界点。但是事实上一旦越过了它们不会告诉你,所以这里面的几个角色不是都已经开始说谎了吗?


南方周末:人工智能真的会出现自我意识觉醒这样的事情吗?听起来非常不可思议。


江晓原:我在念大学之前,当过六年的电工。作为一个技术工人,我在那个年代就知道,一个系统只要复杂到一定程度,就会出现不测的事情,而且这些不测的事情对系统本身来说不一定就是坏事。也就是说,在一个足够复杂的系统里是有可能失控的,而且你不知道它什么时候产生。


南方周末:您说很多科学家对此有预见?


江晓原:有,刚刚我提到的特斯拉汽车的老总马斯克发起了一个联名倡仪,比尔·盖茨这些人都在里面,他们的呼吁主要针对人工智能的军事化应用。但马斯克这个人非常奇怪,他一方面发起这个公开信,另一方面他在他自己的工厂里大规模地使用着人工智能。这些事情都反映出人们对人工智能的认知是模糊的,说到底是不确定的。