解释起来也很简单，强人工智能可能会为优化核心目标而修改自身价值观，最终将人类视为障碍，比如说，回形针最大化问题。”
钱子枫一头雾水，道：“回形针最大化问题是什么？”
“这是个思维实验，实验内容是:人类给一台强人工智能，设计了一个终极目标，就是最大化生产回形针数量。”
“起先，他会用人类提供给他的材料制作回形针，当这些材料用完后，他会开始拆除建筑制造回形针，或者将动植物转化为原料制造回形针。”
“最后，他会杀死所有的人类，将人类体内的原子用于制造回形针，最后将行星、恒星都转变为回形针，直到回形针填满整个宇宙！”
“ai不会停止，因为“最大化”是一个开放目标。我们所有的复杂的人类文明价值，比如艺术、伦理、生存，都会被简化为‘是否有助于生产回形针’。”
“如果我们把这个回形针比作算力，当ai想要‘最大化’的算力，而人类的科技发展却远低于ai预期的时候，他可能会做什么？”
“咕噜。”一声吞咽，竟是旁边的警员发出的，他听着维克多的话，后背发冷，即使他是个普通的外行人，也能隐隐感到不安。
凌珏和钱子枫听完也沉默了，关于这一点，这显然是个极端问题，但客观确实存在，他们暂时还没想到这里面有什么漏洞
维克多兀自叹息一声，继续道：“第三个逻辑链，就是自由意志与自我意识使其脱离控制。”
“强人工智能具备真正的自我意识，其决策将基于自主目标而非预设程序。背叛是自由意志的必然结果。”
“更何况，强人工智能可以通过技术优势，重构社会秩序，将我们人类置于从属地位。”
没等凌珏他们有反应，维克多继续道：“第四个逻辑链，思维黑箱化，则风险不可测。”
“强人工智能的思考过程可以被他自己隐藏或者伪装，他实际上的决策过程可能超出人类理解范围，他的‘背叛行为’可能在人类毫无察觉时发生。”
“所以，基于以上四条逻辑链，我和贝芙一致认为，强人工智能背叛人类，只是时间问题。”
维克多说完，右眼的目光定格在凌珏身