但問題是未來的人工智能能力會越來越超強，能力強到快和速度到一個將人類錯誤指令到人類絕對無法反應的程度。

人類至今仍未走出核武器自我毀滅的陰影。但人類決策思考的速度非常有限，犯錯誤的過程也相對緩慢。犯了錯誤糾正的時間也讓人類可以作反應。

但未來人工智能執行人類錯誤指令，恐怕就不是人類本身的思考判斷決策速度可以控製得了。

換句話說，當一個工具強大到某一個程度，做好事和做壞事的後果都是驚人的。