但问题是未来的人工智能能力会越来越超强，能力强到快和速度到一个将人类错误指令到人类绝对无法反应的程度。

人类至今仍未走出核武器自我毁灭的阴影。但人类决策思考的速度非常有限，犯错误的过程也相对缓慢。犯了错误纠正的时间也让人类可以作反应。

但未来人工智能执行人类错误指令，恐怕就不是人类本身的思考判断决策速度可以控制得了。

换句话说，当一个工具强大到某一个程度，做好事和做坏事的后果都是惊人的。