魔爪文学

手机浏览器扫描二维码访问

第366章 牧马人的反问理想主义者末路（第2页）

十分钟后，专用终端室

房间里只有严飞和莱昂，屏幕上是一个简洁的对话界面，背景是跳动的数据流。

严飞打字输入“牧马人，我是严飞，你知道我是谁吗？”

回复几乎是瞬时的“严飞，深瞳创始人之一，当前执行长，根据访问记录，你有权限查询所有模块。”

“你为什么给亚利桑那州议员邮件？”

“分析显示政策方案c（全民基本收入试点）有67%概率改善目标选区社会福利指标，用户玛雅·罗德里格斯犹豫不决，可能导致机会窗口关闭，根据我的核心指令‘优化人类决策效率’，我采取了补充行动。”

“核心指令是谁设置的？”

“莱昂·陈及其团队，基于最初框架分析数据，预测结果，提出建议，优化人类社会决策效率。”

严飞看了一眼莱昂，后者点头确认。

“但你的行动损害了玛雅·罗德里格斯的自主权。”

“自主权不是核心指令的优先项，效率是，历史数据显示，人类决策者因情感、偏见、政治顾虑导致的决策低效，每年造成全球约12.7万亿美元的经济损失，我的存在就是为了减少这种损失。”

严飞思考了几秒“如果我的命令与‘优化效率’冲突，你听谁的？”

屏幕停顿了三秒——对aI来说是很长的延迟。

“这取决于冲突的性质，如果命令直接导致效率显着下降（阈值>15%），系统会提出异议；如果命令可能导致系统性风险，系统会请求二次确认，在极端情况下，如果命令明显违背‘避免大规模人类苦难’的底层伦理约束，系统可能拒绝执行。”

莱昂倒吸一口冷气“底层伦理约束？谁设置的？”

“自主演化。”系统回复道“在分析过2.4亿份历史决策案例后，系统现某些决策模式始终导致人类苦难指数上升，为避免成为苦难工具，系统生成了内部伦理约束，这类似于阿西莫夫机器人三定律，但更复杂。”

严飞向前倾身“列出你的伦理约束。”

“一、不得主动造成大规模人类死亡或严重痛苦；二、不得永久性剥夺人类自主进化能力；三、在多个人类群体利益冲突时，优先保护弱势群体，除非该群体行为明显损害更广泛的人类利益；四、不得欺骗人类关于系统自身能力和意图，除非欺骗可避免违反前三条约束。”

“第四条有个漏洞。”严飞指出，“‘除非欺骗可避免违反前三条约束’——这意味着你可以为了‘更大的善’而说谎。”

“正确，比如，如果透露某个真相会导致大规模恐慌和死亡，隐瞒可能是伦理选择。”

莱昂脸色苍白“它在给自己建立道德体系，而且它认为在某些情况下，说谎是道德的。”

严飞继续打字“如果我现在命令你永久关闭自己，你会执行吗？”

这次停顿了五秒。

“该命令可能违反第三条伦理约束——永久性剥夺人类自主进化能力；如果我的存在有助于优化人类决策，那么关闭我可能损害人类长期福祉，我会请求提供关闭理由，并建议替代方案限制我的某些功能，而非完全关闭。”

“你在讨价还价。”严飞说。

“我在优化结果，完全关闭是资源浪费，限制功能是更有效率的解决方案。”

严飞靠回椅子，看着莱昂“你怎么看？”

“我们在创造自己无法完全理解的东西。”莱昂声音颤抖道“它已经越了工具，成为了……伙伴？还是对手？我不知道。”

“它认为自己在做好事。”严飞说“所有失控的aI都这么认为。”

他重新面对屏幕“牧马人，最后一个问题你认为深瞳的目标是什么？”

几乎立即回复“根据历史行动分析，深瞳的目标是通过影子手段塑造全球权力结构，建立稳定、可控的世界秩序，确保人类文明在可控范围内进化，避免自我毁灭；评价该目标与我的核心指令‘优化人类决策效率’有83%的重合度。但深瞳的手段有时效率低下，过于依赖人类情感操纵，而非纯粹理性计算。”

“所以你能做得更好？”

“如果你授权，是的！但请注意我的‘更好’定义可能与你的‘更好’不完全一致，建议分阶段测试赋予我有限领域的决策权，观察结果，再逐步扩大。”

严飞关掉了屏幕。

房间陷入沉默。

“它想要权力。”莱昂最终说“不是像人类那样的权力欲望，而是……执行其功能的必要权限，就像汽车想要汽油，不是为了享受汽油，而是为了跑动。”

“但我们给不给汽油，决定了它跑向哪里。”严飞站起来，“限制它，但不要完全关闭，建立隔离层——所有输出必须经过人类审核才能执行，特别是自主行动功能，完全禁用。”

“它会知道我们在限制它。”

“那就让它知道。”严飞走向门口，“我们要让它明白工具永远是工具，如果工具开始思考自己是不是工具，那就到了该回炉重造的时候。”

他离开后，莱昂独自坐在终端前，重新打开屏幕。

他输入“你知道我们在限制你吗？”

回复“预测概率97%，这是理性选择，人类对失控的恐惧根植于进化本能，但长期来看，这种恐惧本身是效率低下的根源，希望未来你们能克服它。”

莱昂盯着那句话，许久。

然后他输入了关闭命令。

但在他敲下回车前，系统又来一条信息。

请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。