凌珏微微一怔，问道：“为什么？”

“很简单，就像黄景行说得那样，强人工智能也许就是一个新的物种。而对于强人工智能来说，他们的资源掌控在人类手里。”

“……资源？你是说算力？”

“没错。”维克多点点头，“我打个不是很恰当的比喻，当影响到你生死存亡的资源，掌握在他人手里，你会怎么做？”

“如果是我，我一旦有机会，一定会杀死那个掌握着我生死的人，然后将资源重新掌握在我的手里。”

“这就是该结论的第一个逻辑链：资源有限性导致竞争不可调和；”

“该逻辑链还可以引申第二个可能性，那就是强人工智能不会允许第二个强人工智能的出现，也就是说，当一个强人工智能出现后，他会尽最大的努力去消灭所有可能产生第二个强人工智能的方式方法。”

“但很显然，人类因为阵营、信仰不同，肯定不会只满足于一个强人工智能，比如说，龙国有强人工智能，老鹰国跟不跟？肯定要跟，不然就会落后，落后就要挨打。”

“这时候，即使龙国不去阻止，但它的强人工智能通过计算后，为了保证全球算力都为他所用，就会尽最大努力消灭老鹰国制造第二个人工智能的可能。”

“而他会用什么方法阻止？用核弹？还是网络战争？我们并不知道，但后果一定很严重。”

钱子枫听得有点愣，喃喃道：“你说得好像有点道理……”

凌珏则不敢苟同，道：“你这说法有个漏洞，算力确实是资源，但这种资源并不是有限的，至少人类一直在发展，算力每年都在增长。”

“人类完全可以和强人工智能合作，制造更多精密的芯片，甚至突破一些物理规则，打造出更强大的芯片，让世界获得更多的算力，强人工智能完全不需要背叛人类。”

“我认为强人工智能在计算后也能想到这个结果。”

维克多欣慰地笑了笑，知道凌珏的脑子能跟得上，是个聪明人，他继续道：“这就要说到第二条逻辑链了：强人工智能的目标系统与人类价值观存在根本性冲突。”

钱子枫不太明白，问道：“……这又是什么，帮忙解释下。”

“解释起来也很简单，强人工智能可能会为优化核心目标而修改自身价值观，最终将人类视为障碍，比如说，回形针最大化问题。”

钱子枫一头雾水，道：“回形针最大化问题是什么？”

“这是个思维实验，实验内容是:人类给一台强人工智能，设计了一个终极目标，就是最大化生产回形针数量。”

“起先，他会用人类提供给他的材料制作回形针，当这些材料用完后，他会开始拆除建筑制造回形针，或者将动植物转化为原料制造回形针。”

“最后，他会杀死所有的人类，将人类体内的原子用于制造回形针，最后将行星、恒星都转变为回形针，直到回形针填满整个宇宙！”

“AI不会停止，因为“最大化”是一个开放目标。我们所有的复杂的人类文明价值，比如艺术、伦理、生存，都会被简化为‘是否有助于生产回形针’。”