今年3月8日，著名物理學家史蒂芬·霍金向英國《獨立報》表示，人類必須建立有效機制盡早識別威脅所在，防止新科技（人工智能）對人類帶來的威脅進一步上升。霍金警告，未來人工智能可能會以生化戰爭或核子戰爭的方式摧毀人類。其實，早在2015年9月，霍金就發出過類似的警告：聰明能干的人工智能會讓人類滅亡。霍金表示：一個超級聰明的人工智能可以非常好地實現它的目標，如果這些目標沒有與我們人類一致，我們人類就麻煩了。
我們如何來對待霍金的警告呢？首先，霍金本人也是人工智能技術的支持者，霍金認為，如今人工智能似乎已經滲透到各個領域。人工智能甚至可幫助根除長期存在的社會挑戰，比如疾病和貧困等。
人工智能技術是當今新技術革命的領頭羊。事實上，人工智能技術的發展已歷經三次浪潮。第一次浪潮以“手工知識”為特征，典型范例如智能手機應用程序等。第二次浪潮以“統計學習”為特征，典型范例如人工神經網絡系統，并在無人駕駛汽車等領域取得進展。雖然這些人工智能技術，對明確的問題有較強的推理和判斷能力，但不具備學習能力。第三次浪潮則以“適應環境”為特征，人工智能能夠理解環境并發現邏輯規則，從而進行自我訓練并建立自身的決策流程。今年年初，谷歌AlphaGO的升級版Master以 60∶0的戰績，擊潰當世所有圍棋頂級高手；就在5月25日，AlphaGO又接連兩局擊敗中國圍棋職業九段棋手柯潔；我以為，這些都是人工智能第三次浪潮的標志。
其次，人工智能技術也是一把雙刃劍。一方面，借助人工智能技術實現自動化，將極大提高生產率，節省勞動成本；通過優化行業現有產品和服務，開拓更廣闊的市場空間。正由于人工智能對社會經濟無可替代的重要推動作用，在我國兩會上已將人工智能寫進了政府工作報告。
另一方面，人工智能技術對社會也帶來了近期和遠期的風險。在不遠的將來，那些重復、耗時、乏味的工作；在快速變化的復雜環境中進行的工作以及超出人類極限的工作，都有可能被人工智能系統所代替，從而沖擊勞動力市場。可以預測，由于人工智能的發展，多數人的智能將低于或接近人工智能的水平，如果沒有政策的有效控制，財富就會集中到少數智能超過人工智能的人手中，這將進一步擴大社會的貧富差別，引發社會的撕裂。
至于說到霍金警告的人工智能引發的人類生存風險，即人工智能將來會從整體上超越人類智能，目前對此在認識上還有分歧。許多自然科學家認為，目前人工智能離上述水平還很遠很遠，其危險遠不足慮；而某些社會科學家卻有擔憂，認為隨著技術變革的深入，人工智能所引發的鏈式反應，就會出現無法控制的局面。上述認識的差異，正好體現了人類對智能認識的多樣性。從這個角度看，科學家全面認識人類智能，并將其復現，只是時間問題。鑒于人工智能有可能超越人類智能，以及由此產生十分嚴重的后果，再加上科學技術發展的內在不確定性，就充分說明了研究人工智能安全問題的必要性。
早在1950年出版的美國著名科幻小說家艾薩克·阿西莫夫撰寫的《我，機器人》小說中，就提出了著名的“機器人三大定律”：第一定律，機器人不得傷害人類個體，或者目睹人類個體將遭受危險而袖手旁觀；第二定律，機器人必須服從人給予它的命令，當該命令與第一定律沖突時例外；第三定律，機器人在不違反第一、第二定律的情況下要盡可能保護自己的生存。此后，這“三大定律”不斷激發出對于人工智能安全性的新思考。由于人工智能最終必將會具備自主意識，到那時人類與人工智能系統之間的關系，必須服從普適、可靠的準則。特別是在軍事領域要更加小心，否則極有可能出現科幻電影中描述的人機大戰的場景。
因此，我們在發展人工智能系統的同時，還要確保其在預先制定的相關準則下進行工作，以防止其出現越規行為。
