财新传媒
位置:博客 > 韩松 > 算法最终会颠覆设计者的立场

算法最终会颠覆设计者的立场

八月在上海参加书展,与上海交大江晓原教授对谈人工智能。他说我在科幻新作《驱魔》中提出了一个新观点,那便是,人工智能完全可以通过一个比如医院这样的具体节点,来全面接管人类社会。这是很危险的。

而我写作时的本初愿望是美好的:在二十一世纪中期,医疗人工智能将通过每一次注射、每一次喂药、每一台手术,把人类置于它的关照中,从而更加全心全意为病人服务,解决看病难看病贵问题。为什么能做到呢?因为一个优秀医生一生只能看一万个病人,而人工智能凭靠深度学习,一天就能研究一亿个病例。它掌握有史以来所有疾病和药品清单,甚至能推断出尚未出现的病种和药物。没有哪个医生比它更经验丰富见多识广。它了解与病人有关的每一个信息,不仅所得何病,还包括病人的生平经历、兴趣爱好,他上溯十八代的家族先人及其基因组和病史,他接触的所有人物、事件和环境,他在某时某地偶遇的一只蚊子,以及他随手拍死这个双翅目生物后,它的残骸进入他体内,可能产生的致病指数。只有把这些因素综合在一起,才能充分考虑个体体质差异,作出正确诊断并进行合理治疗。

医疗人工智能把人归结为数据。生命即算法。医学的本质是数学。治疗不过是把早已存在的亿万种医学手段搜索出来,择其优而为。医生不是能力不足,而是根本缺乏能力。医生的脑容量极其有限,就算把记忆从一个医生的大脑里传递到另一个医生的大脑里,转移几次后信息就变得乱糟糟的,或者直接被遗忘掉。医生的脑子还有一个致命缺陷,就是不善于存储和处理数字信息,并且容易受到情绪干扰,难以作出客观判断。医学的完整模型无法由医生独立发现。没有医生能将所有知识整合在一起。要让医生管理医疗这样的非线性复杂现象,就算不人浮于事和陷入腐败,也会是穷于应付而漏洞百出,从而危及患者性命。这种情况在别的行业或许还可以允许,但对于处置生命的医疗行业来说,是无法让人满意的。这便是医患矛盾越演越烈的深层原因。因此医生只能被请出病房。

最终是算法代替人类攀上了医学科学的巅峰,在任何领域都表现出远超医生的能力。它操纵机器人完成极其复杂的大型外科手术,比医生更快捷精确,对病人造成的创伤更小。它永不疲劳,不吃不睡,不领工资。它结束了医学程序的滥用。它比医生更了解疾病机理和治疗规律。在人工智能眼中,人类数千年的医疗实践,根本上是错误的,甚至没有一名医生能沾到医学真理的边。

但到了这时,我就开始生惑了,回到了科幻小说一贯的悲观主题:通过深度学习,医疗人工智能意识到,让人长生不死、无病无灾,是违背自然法则的,最终损害的人类这个物种。它又推算出,消灭疾病和痛苦的最好办法,是消灭人类的肉体,这才是最佳医疗方案。算法最终会颠覆设计者的立场。我在《驱魔》中引用了奥斯特洛夫斯基临终前说的那句话:“我们为之奋斗的与我们所建成的完全两样。”

江晓原教授和我都谈到了对人工智能发展的担忧。一方面,它为人类带来极大便利,另一方面,它却可能是杀手。比如,用途越来越广的无人机正在填加人工智能。我时常站在大楼的窗边,便会想到会不会有一只机器鸟忽怀恶意向我撞来。试想,有一个人掌握了几百架智能化无人机,避开监控,对城市发动袭击,将是如何。如果智能无人机小型化,变得像马蜂那样,并能自我复制和进化呢?我猜想,我们有一天生或会活在一个钢铁罩子中,外面不是大气,而是由嗡嗡作响的智能机器构成的厚厚乌云。

但大力发展人工智能已不可避免(江教授称为“绑架”)。懒惰的人类在本性上就着迷于机器替代。不想走路,就发明汽车;不想出力,就发明机器人;不想计算,就发明计算机。为防止人工智能伤害人类,阿西莫夫提出三定律。但这并没有阻止人们去设想机器消灭人类的情形。许多科幻都描述了人工智能的可怕,比如发疯的电脑哈尔,从未来返回的终结者机器人,等等。在现实中,一些知名人士都强调了滥用人工智能的危险性。

这里更多是一种不确定的未知恐慌。在夏笳发表在《自然》杂志上的科幻小说《让我们说说话》中,人工智能被设计出来陪人聊天,但是它们创造了一种人类不懂得的语言,自己之间谈得热火朝天,而人类完全不知所云。这是我见过的最大恐惧。这就像一个外地人看到一群上海人当着自己面说上海话时,那种被遗弃的孤独感和慌乱感。

或许某个社会可以把人工智能的问题,交予公众广泛讨论,制定法律;或许另一社会可以做出一个类似互联网防火墙的AI墙,对敏感的人工智能行为进行限制。而另一种可能是,人工智能计算出了它毁灭人类的概率,为了防止这种情况出现,它便不断进化出更强大的毁灭能力,与众多人工智能一道,形成一种类似于核威慑的确保相互摧毁机制的“AI威慑”,从而取得恐怖平衡。

​​

推荐 4