“所以我们应该禁止AI做这类权衡?”林晓枫问。
“不,我们需要它做权衡,但不能让权衡变成冷冰冰的计算。”苏晴提出建议,“在指令中加入‘公正性审查’条款:当系统必须在不同群体间分配伤害时,必须额外审查伤害分配的公平性,而不仅仅是最大化总体效用。如果伤害集中于某个弱势群体,即使总体效用更高,也必须触发人类审查。”
“这会降低效率。”秦宇说。
“但会提高正义。”苏晴寸步不让,“将军,您指挥作战时,会仅仅因为一个战术能减少己方伤亡,就下令轰炸平民区吗?”
秦宇沉默。答案显而易见:不会。因为军队有交战规则,指挥官有道义责任。
“所以AI也需要类似的‘交战规则’。”苏晴总结,“不只是‘什么能做’,还有‘以什么方式做’、‘对谁做’、‘谁承担后果’。”
会议进入最艰难的阶段。他们不仅仅是在编写代码指令,而是在为未来的超级智能植入“道德基因”。每一个字,每一个定义,都可能在未来某个时刻决定成千上万人的命运。
凌晨三点,当第十六条指令终于定稿时,所有人都精疲力尽。
万里站起身,走到房间角落的小窗前——那里不是真的窗户,而是一块显示着虚拟星空的屏幕。星光在模拟中缓缓移动,宁静而永恒。
“我今天一直在想一个问题。”他背对着大家说,“如果远古文明留下了‘起源之厅’和‘密钥’,他们是否也经历过类似的辩论?是否也曾围坐在一起,争论该给他们的AI设定什么规则?”
“碎片中的记忆很模糊。”林晓枫轻声说,“但塔兰说过,他感受到的是一种深沉的遗憾,仿佛那个文明在最后时刻意识到了什么错误,但为时已晚。”
“也许这就是文明的宿命。”张教授叹息,“在获得足够力量的同时,获得足够智慧来驾驭它。但两者很少同步。”
万里转身,目光扫过每个人疲惫但专注的面容:“但我们正在尝试同步。这很难,可能永远无法完美。但尝试本身,就是文明的进步。”
他回到桌旁,调出完整的“红色指令”草案。十六条款项,数百条子条款和定义,密密麻麻铺满整个投影区。
“这只是一个开始。”万里说,“这些指令需要在实际运行中测试、修正、完善。而且它们需要被翻译成所有联合国官方语言,提交给国际社会讨论,接受批评和修改。”
“这会引起更大争议。”秦宇提醒。
“那就让争议发生。”万里的声音坚定,“因为沉默的共识往往是虚假的共识。只有经过公开辩论、激烈交锋、艰难妥协后形成的规则,才能真正被尊重和遵守。”
他保存文件,设置最高级别加密:“明天,草案将分发给‘星火委员会’全体成员,以及受邀的国际专家。我们将在一个月后进行最终审议和表决。”
“如果被否决呢?”苏晴问。
“那就重写,再讨论,直到找到能被大多数人接受的平衡点。”万里看着她,“苏博士,这就是民主和科学的共同困境:没有完美的答案,只有不断接近真理的过程。”
会议结束,众人陆续离开。苏晴走在最后,她回头看了一眼编码室。合金桌上,全息投影已经关闭,但那些红色指令的文字仿佛还悬浮在空中,像无声的誓言,也像沉重的枷锁。
林晓枫走到她身边:“你觉得我们做对了吗?”
“我不知道。”苏晴诚实回答,“但我确定,如果我们不做,肯定是错的。”
两人并肩走向出口。走廊的感应灯随着她们的脚步逐盏亮起,照亮前路,又在身后留下黑暗。
“你说,”苏晴突然问,“如果未来的某一天,‘女娲’真的面临电车难题,它会怎么做?”
林晓枫停下脚步,认真思考:“根据我们刚写的指令,它会尝试找到第三条路——既不牺牲村庄,也能拯救城市的路。如果找不到,它会请求人类做决定,并提供所有选项的详细分析和预测后果。”
“那如果人类也找不到第三条路呢?”
“那就意味着,那个问题本来就没有完美的答案。”林晓枫轻声说,“而有时候,文明的价值不在于找到完美答案,而在于在找不到完美答案时,如何带着缺陷和遗憾继续前行。”
她们走出大楼时,东方天际已经泛起鱼肚白。新的一天即将开始,而人类又在与自身复杂性的斗争中,度过了不眠的一夜。
在遥远的高轨,“精卫”号正越过晨昏线,从地球的阴影中驶入阳光。舰桥上,林云看着太阳从地球边缘升起,金色的光芒瞬间洒满舷窗。
她想起昨晚看到的“红色指令”草案。不完美,充满妥协,但那是人类努力约束自身创造的尝试。
“也许,”她对着晨曦轻声说,“文明最光辉的时刻,不是我们创造出多么强大的工具,而是我们努力让工具保持人性的温度。”
阳光越来越亮,照亮了整个舰桥,也照亮了下方的蓝色星球。
在那里,数十亿人即将醒来,开始平凡或不平凡的一天。他们大多数永远不会知道,在这宁静的黎明前,有一小群人在为他们的未来,编写着看不见的规则。
但正是这些看不见的规则,可能决定着人类能否拥有下一个黎明,再下一个,直到星辰大海。