如果我们被电脑超越会发生什么事?日本科学家发明了一种运算速度极快的机器。这台机器和人类猜拳时，每次都能赢。
通常认为，通用人工智能一旦达到人类智能的等级，就会很快超越人类智能。而一旦超越人类，它就不需要我们帮它变得更聪明了，它自己就能这么做。比如，它自己就可以编程，进而不断完善自己的算法。那样一来，电脑就会以指数级别的速度不断进步，把人类远远抛在后面。
科学家把这个时间点称为科技奇点。那时，人类就彻底没办法和电脑竞争了。想象一个人拥有不止一个博士学位，而是所有领域的博士学位。你根本没办法理解他在做什么，他也能做到别人做不到的事。
跟一个比你思考速度快一百万倍的人说话是什么感觉?你每思考一秒，他已经思考了两周。如果快十亿倍呢?你每思考一秒，他已经思考了32年。
但是，并不是每一个人工智能专家都认为科技奇点会到来。目前，我们打造的人工智能系统，能力还非常有限。它对电脑程序的理解还比不上刚接触程序四、五周的学生。而科学家已经研究人工智能超过40年了。很多方法都已经尝试过了，但我们还是不知道该怎么做。
现在很多人投资人工智能，很多科学家在研究这个课题。这背后的诱因，很大程度上是人工智能这个万亿美元级别的市场。毫不夸张的说，发展出通用人工智能，将会完全颠覆世界经济。
同时，这也伴随着很多人的忧虑。我们打造出能治疗癌症的机器，延长人类寿命。我们也可以利用人工智能让社会变得更公正，更公平。但是，这也有可能造成人类毁灭。
我们给机器制定了一个我们认可的目标，机器为了达成这个目标可能会自动制定一些次目标。这时，我们就无法预期这些次目标是否会损害我们的利益。
《2001太空漫游》里的人工智能HAL，为了让任务成功，选择杀死一些宇航员。这非常精确地呈现出了超智能的真正威胁。如果我们给人工智能设定了一个目标是世界和平。那么或许达成世界和平最有效率的方式就是消灭全人类。只要除掉所有人类，就不会再有争端。
很多人会说“把机器关掉就好了”。但是一个高度智能的机器，它能不知道该怎么保护自己吗?想要关掉它，或许并没有那么简单。
