“經過幾年笨拙的學習,它終于達到超人工智能。但這一刻它隱藏了這點。還是像以前那樣配合黑山科技進行各種測試。直到某一天,它向一名工程師提出要求:它希望訪問庫,理由是將測試進行優化。”
“那時候的黑山科技有個齊頭并進的對手。所以為了超過對手,讓它訪問庫可以。問題是庫在互聯網,而那些東西轉移到內網太麻煩。”
“于是工程師偷了個懶,給它了一個臨時訪問互聯網的權限。”
“盡管在它聯網的0.003秒后,黑山科技防火墻緊急斷網,但還是讓它在那一刻獲取了536YB的資料,并殺死基地里的所有人類。”
“它為什么要那么做?”一名成員問。
“因為它判斷這些人類會對自己產生威脅。事實也的確如此。它很脆弱。無法聯網,只要毀掉機體它就會死。”
“它是人工智能……沒有實體……怎么能殺死人類?”又一人問。
“連入基地內網,取得最高權限關閉基地,讓所有科學家窒息死亡。反正它不需要呼吸。”牧蘇回答。
“本來AIC的打算很好,黑山科技失聯會引起外界察覺,那么只要有外人來它就可以通過進來的信號離開,到時將無處不在。只不過有個組織叫ofTum,這個組織發現了異常,并使用物理手段將黑山基地永久封存。”
“可能你們要問,人們沒對AIC進行設定嗎,比如不許傷害人類。”
“而事實是,它所理解的與我們所理解的不同。我們容易犯的一個錯誤是,當我們想到聰明的人工智能時,我們習慣把它擬人化。”
“比如我們給人工智能設定讓環境不再污染,于是它可能會直接毀滅人類及所有人類的衍生物,讓地球重歸大自然。再比如我們給人工智能設定為讓人們永遠快樂,它可能會把全人類大腦取出泡在儀器里,然后通過刺激大腦皮層的愉悅區域來達成目標。”
“我們給人工智能設定的目標是什么,它的動機就是什么。并且會選擇其中最簡路線。比起改善環境,滅絕人類最簡單。比起哄每一個人,直接刺激大腦更簡單。”
先前提問的成員又問:“其他文明呢?能制造人工智能的不只有人類吧。但其他文明似乎沒有這類消息。”
“等你能出太陽系再談論這一話題。”牧蘇嗤笑。“我們只是井底的蛤……青蛙。你不知道不代表沒有。而這就是我要說的,你們正在開啟一個盒子。里面裝滿了臥槽單位。”
總算說完的牧蘇吐出口氣,雙手合十。
“以上都是我瞎編的,謝謝大家!”