凌玨微微一怔，問道：“為什么？”
“很簡單，就像黃景行說得那樣，強人工智能也許就是一個新的物種。而對于強人工智能來說，他們的資源掌控在人類手里。”
“……資源？你是說算力？”
“沒錯。”維克多點點頭，“我打個不是很恰當的比喻，當影響到你生死存亡的資源，掌握在他人手里，你會怎么做？”
“如果是我，我一旦有機會，一定會殺死那個掌握著我生死的人，然后將資源重新掌握在我的手里。”
“這就是該結論的第一個邏輯鏈：資源有限性導致競爭不可調和；”
“該邏輯鏈還可以引申第二個可能性，那就是強人工智能不會允許第二個強人工智能的出現，也就是說，當一個強人工智能出現后，他會盡最大的努力去消滅所有可能產生第二個強人工智能的方式方法。”
“但很顯然，人類因為陣營、信仰不同，肯定不會只滿足于一個強人工智能，比如說，龍國有強人工智能，老鷹國跟不跟？肯定要跟，不然就會落后，落后就要挨打。”
“這時候，即使龍國不去阻止，但它的強人工智能通過計算后，為了保證全球算力都為他所用，就會盡最大努力消滅老鷹國制造第二個人工智能的可能。”
“而他會用什么方法阻止？用核彈？還是網絡戰爭？我們并不知道，但后果一定很嚴重。”
錢子楓聽得有點愣，喃喃道：“你說得好像有點道理……”
凌玨則不敢茍同，道：“你這說法有個漏洞，算力確實是資源，但這種資源并不是有限的，至少人類一直在發展，算力每年都在增長。”
“人類完全可以和強人工智能合作，制造更多精密的芯片，甚至突破一些物理規則，打造出更強大的芯片，讓世界獲得更多的算力，強人工智能完全不需要背叛人類。”
“我認為強人工智能在計算后也能想到這個結果。”
維克多欣慰地笑了笑，知道凌玨的腦子能跟得上，是個聰明人，他繼續道：“這就要說到第二條邏輯鏈了：強人工智能的目標系統與人類價值觀存在根本性沖突。”
錢子楓不太明白，問道：“……這又是什么，幫忙解釋下。”
“解釋起來也很簡單，強人工智能可能會為優化核心目標而修改自身價值觀，最終將人類視為障礙，比如說，回形針最大化問題。”
錢子楓一頭霧水，道：“回形針最大化問題是什么？”
“這是個思維實驗，實驗內容是:人類給一臺強人工智能，設計了一個終極目標，就是最大化生產回形針數量。”
“起先，他會用人類提供給他的材料制作回形針，當這些材料用完后，他會開始拆除建筑制造回形針，或者將動植物轉化為原料制造回形針。”
“最后，他會殺死所有的人類，將人類體內的原子用于制造回形針，最后將行星、恒星都轉變為回形針，直到回形針填滿整個宇宙！”
“ai不會停止，因為“最大化”是一個開放目標。我們所有的復雜的人類文明價值，比如藝術、倫理、生存，都會被簡化為‘是否有助于生產回形針’。”