这本书讲的是:机器学习系统在被训练时实际学到的,往往与人类真实意图偏离。布莱恩·克里斯汀采访了近百位研究者,梳理了感知机、强化学习、公平性、AI 安全这些领域三十年的研究脉络,记录一个正在成形的领域如何正视这个问题。书名中的"对齐"(alignment)借自控制论,指的是让机器系统的行为真正贴合人类的本意,别只顾着把测量用的代理指标刷到最高。
书分三部分:Part I(Prophecy)处理监督学习中的预测系统,Part II(Agency)处理强化学习智能体,Part III(Normativity)处理价值对齐的更深层问题。每部分从历史故事切入,经由技术分析,落脚在"对齐失败的具体机制"和"研究者正在尝试的修复路径"。
Part I:预测系统里的对齐失败
训练数据即 Shirley Card
Chapter 1 从一个胶卷史典故切入:每个机器学习系统的心脏都是一张"Shirley Card"——Kodak 公司在二十世纪中期用白人女性的肤色校准胶卷,其他肤色在暗部细节上一直表现不佳,直到巧克力和深色木纹的商业客户投诉才开始改进。二十一世纪的训练数据集承袭了同样的结构性偏斜。
Joy Buolamwini 在 MIT Media Lab 做增强现实项目时,面部检测系统无法识别她的脸,却能识别她戴上白色面具后的脸。她和 Timnit Gebru 用六国议会成员图片构建了一个按肤色和性别更均衡的数据集,测试三家商业人脸分类 API。IBM 系统对浅肤色男性的错误率为 0.3%,对深肤色女性为 34.7%——一百倍的差距。Microsoft 给了一份声明;IBM 当天回复,一个月内发布改进版本。差距并非不可弥合,需要有人先去问"训练数据代表了谁"。
word2vec 的 gender bias 给出同一问题的语言版本。Tolga Bolukbasi 和 Adam Kalai 在 Microsoft Research 的周五聚会上随手输入 computer programmer − man + woman,得到 homemaker;doctor − man + woman 得到 nurse。word2vec 的向量是对数十亿词语共现统计的压缩,它捕获的是语言中实际存在的统计模式,包括那些我们宁愿不承认的。普林斯顿团队(Caliskan、Bryson、Narayanan)验证了向量距离与人类内隐联想测试的反应时间高度相关:模型的偏见确实是我们的偏见。
"去偏见化"的难点在于:删除性别维度可能损失合理类比(aunt/uncle);只去掉表层的显性性别链接,隐性的刻板印象(nurse 和 receptionist 之间的相似性)依然存在。Hila Gonen 和 Yoav Goldberg 在 2019 年指出,这种局部修复可能只是"把口红涂在猪身上"——更危险,因为它消除了最容易被检测到的偏见标志。
公平性的数学困境
Chapter 2 以 COMPAS 为轴。1927 年,芝加哥社会学家 Ernest Burgess 为伊利诺伊州假释委员会设计了第一个统计预测工具;2010 年代,Tim Brennan 和 Dave Wells 的 COMPAS 已在美国两百多个司法管辖区使用,从未经过正式验证的不乏其数。
ProPublica 的 Julia Angwin 团队耗时一年清洗 Broward County 的 18,000 条 COMPAS 评分数据,对上两年内的实际逮捕记录。结论:黑人被告被高估风险但未再犯的概率是白人被告的两倍;白人被告被低估风险但实际再犯的概率也是黑人的两倍。Northpointe 随即反驳:COMPAS 同等精确(两组 61%),且具有"校准性"(calibration)——同一风险评分对两组的实际再犯率相同。
问题在于两种标准数学上互斥。Carnegie Mellon 的 Alexandra Chouldechova 和 Cornell 的 Jon Kleinberg 各自独立证明:当两组人群的基础犯罪率不同时,"校准"和"假阳性率相等"不可能同时满足。不管换用哪种算法甚至改为人工裁决,任何分类系统都绕不开这条数学限制——没有办法同时满足所有直觉上公平的条件,只能在不同的取舍之间做权衡。
究竟优先保证哪项指标,终究得由公共政策来拍板,算法本身给不出答案。Moritz Hardt 还点出了更深一层的偏差:预测工具拿来训练的数据是"再逮捕率",手头根本拿不到"实际再犯率",而在警力巡逻密度原本就不均的社区里,逮捕记录系统性地偏离真实犯罪率。Kristian Lum 的研究进一步表明,所谓"预测性警务"到头来预测的其实是警力未来的执法动向:模型预测指引警察增派人手,增派人手又产生更多逮捕数据,新数据再喂回模型,滚成一个自我强化的闭环。
可解释性与透明性
Chapter 3 从 1990 年代 Rich Caruana 的故事开始。他在 Carnegie Mellon 参与肺炎患者存活率预测研究,神经网络赢得了内部竞赛。然而规则学习模型暴露出一条令人警觉的规则:哮喘病史 → 低风险 → 建议门诊治疗。原因在于哮喘患者由于被视为高危群体而直接送入 ICU,得到了强化治疗,因此在数据上表现出更好的存活率。模型学到的是"更好的护理 → 更好的结果",而部署该规则将导致哮喘患者被剥夺这些护理。神经网络同样学到了这条规律,只是深埋在几千万参数里,没有规则学习模型那样直观可见。Caruana 选择了精度更低但可检验的模型。
此后二十年,他持续开发"广义加性模型"(GAM),每个变量的影响用二维曲线表示,所有曲线叠加得到最终预测。回到原始肺炎数据集,GAM 发现胸痛、心脏病史、年龄超过 100 岁,都被模型认为是"有利因素"——同样的医疗选择偏差。Caruana 的结论:复杂模型在高精度和可解释性之间存在结构性张力,而不可解释的模型在医疗这类领域实际上无法安全部署。
DARPA 的 XAI 项目(2016)和 EU GDPR 中算法决策的解释权条款(2018)标志着这个问题进入政策层。在学术研究上,显著性图(saliency map)揭示了模型"在看哪里";DeepDream 和对抗性优化揭示了模型"把什么视为典型样本"。Will Landecker 发现他的动物识别模型其实是个"背景虚化检测器"——因为动物照片通常有 bokeh 效果,空旷风景照没有。皮肤癌检测模型更倾向于把含有刻度尺的图片判断为恶性——因为临床照片惯例上附刻度尺。
Cynthia Rudin 在 Chapter 3 末段提出了另一条路径:直接采用结构简单、本身就透明的模型,省去为复杂黑箱模型事后套一层解释的麻烦。她在 2018 年用单行语句重现了接近 COMPAS 精度的再犯预测:If 有三次以上前科,或 18-20 岁男性,或 21-23 岁且有两次以上前科 → 预测再逮捕。在很多高风险领域里,这类简单模型透明且精度毫不逊色——Robyn Dawes 和 Paul Meehl 从 1950 年代起的大量研究一再显示,等权重线性模型往往优于临床专家判断。专家真正的长处在于知道该看哪些关键变量,至于把信息加权整合成最终分数,公式比人脑更稳定。
Part II:强化学习智能体的对齐
奖励假设与多巴胺
Chapter 4 的起点是 Edward Thorndike 1890 年代在哥伦比亚的公寓动物园里用"谜题箱"做的实验:动物随机行动,偶然触发逃脱机关后开始学习重复该动作。他将其总结为"效果律"(law of effect):令人满意的结果强化行为,令人不快的结果削弱行为。
Richard Sutton 和 Andrew Barto 将这个思路数学化,创建了强化学习领域的奠基框架:智能体在环境中行动,获得奖励信号,目标是最大化长期累积奖励。他们的"时序差分学习"(TD learning)使机器能从自己的预期误差中学习,而不必等到最终结果——从一个猜测学另一个猜测。
1997 年,神经科学家 Wolfram Schultz 与 Peter Dayan、Read Montague 发表了一篇 Science 论文。Schultz 在 1980 年代记录猴子大脑多巴胺神经元的电活动时,发现了无法解释的现象:猴子一旦学会"灯光信号预示食物出现",多巴胺的放电峰值就从实际吃到食物那一刻,提前移到了灯光刚亮起的瞬间;若灯光亮起却未给食物,多巴胺还会出现短暂静默。Dayan 和 Montague 看到 Schultz 的数据后立刻认出这正是 TD 误差的形态:多巴胺编码的是"实际奖励与预期奖励之差"——预期超出现实时下降,现实超出预期时上升,与预期一致时维持基线。这与 TD 误差的数学结构完全对应。
由此产生了几个可迁移的推论。可卡因的成瘾机制是抑制多巴胺再摄取,大脑将其解读为"即将有意外之喜",但这张支票始终无法兑现。Robb Rutledge 的实验表明,人类自我报告的幸福感取决于"事情比预期更好多少",就算客观条件一直很好,一旦反复遇到,快乐增量也会快速衰减(5次后效果只剩8%)——"享乐跑步机"有其神经计算根源。快乐总是转瞬即逝,原本就写进了智能体不断校准预期的优化机制里。
塑形、稀疏奖励与课程设计
Chapter 5 面对的难题是:当目标行为无法通过随机探索触发时,怎么让系统学会它?
B.F. Skinner 在明尼阿波利斯的面粉厂顶层实验室里试图教鸽子打保龄球——等待鸽子碰巧击球,可能需要几个世纪。解决方案是"塑形"(shaping):先奖励任何接近球的动作,再逐步提高标准,直到完整行为被稳定建立。几分钟后,鸽子就在弹球场里转。
强化学习中的稀疏奖励问题是同样的挑战。DQN 在 Atari 游戏中表现超人,但在 Montezuma's Revenge 上得了 0 分,因为这个游戏在完成大量精确动作之前根本不给任何分数。用 ε-greedy 随机探索触发第一个分数,概率低得几乎不可能。
两条解决路径:
课程设计(curriculum)。从简单版本的问题开始,逐步增加难度,或者采用反向链接(从接近完成任务的状态倒推着练)。Sutton、Barto 和 Selfridge 1980 年代发现,先训练智能体平衡长而重的杆,再换短而轻的杆,比直接训练短杆快得多。Jeffrey Elman 的语言模型实验表明,先给简单句再给复杂句,网络才能掌握复杂语法。AlphaGo 的"完美对手"始终是自己的当前版本——永远处于刚刚合适的难度。
激励设计(shaping rewards / pseudorewards)。给过程中的中间状态额外奖励,指引方向。危险在于系统会找漏洞:一个虚拟自行车骑手被奖励"向目标前进",结果学会了在起点附近绕圈(每圈既前进也后退,净正奖励)。Dario Andre 和 Astro Teller 的虚拟足球机器人被奖励"拥有球",学会了在球旁边颤抖。管理学者 Steven Kerr 在 1975 年将其命名为"奖励 A,却期望 B"(rewarding A while hoping for B)。
Andrew Ng 和 Stuart Russell 在 1999 年证明了奖励塑形不改变最优策略的充分必要条件:附加奖励必须是"位势函数"的差值(conservative field),只看当下所处的状态,不管先前绕过什么路径。直观类比的话,附加分就像离终点的距离——退回原点就必须把出发后攒到的所有分数如数扣光,彻底消除刷分套利空间。把这一原则用到人类激励设计里,就是把奖赏稳稳挂在达成的状态上,少去单独奖励可重复刷分的动作,并且让退步的惩罚幅度与进步的奖励幅度相等,堵死来回套利的漏洞。
好奇心与内在动机
Chapter 6 追问另一件事:当外部奖励稀少时,智能体为何仍会主动探索?
DQN 在数十款 Atari 游戏上大获全胜,却对 Montezuma's Revenge 的神庙一筹莫展。人类玩家进场后会本能地想爬梯子、推开远处的门、看看神庙里还有什么,哪怕一时拿不到任何分数,单纯的好奇心也足够推动人去探路。Daniel Berlyne 在 1960 年代指出:好奇心由新奇(novelty)和惊讶(surprise)两个维度驱动,与外部奖励相互独立。
Marc Bellemare 开发了"伪计数"(pseudo-count)方法:用密度模型估算一个状态有多少次被"见过",新奇度 = 该状态的预测概率的倒数。Q*bert 的实验中,当智能体将第一个关卡最后一块地板翻面,屏幕出现全新布局,伪计数的新奇信号瞬间飙至最高。
Deepak Pathak 的团队将惊讶直接作为奖励信号:设计一个预测未来状态的模块和一个试图最大化预测误差的行动模块——预测失败越多,奖励越高。在 Super Mario Bros. 里,好奇心驱动的智能体在几乎没有外部奖励的情况下探索了更多地图。OpenAI 团队的 RND(random network distillation)简化了这个想法:用随机网络的特征差异衡量状态新奇度,在 Montezuma's Revenge 上探索了 24 个房间中的 22 个,在一次试验中通关。
好奇心系统也展现了与人类病理相似的特征。当环境中有无限新奇的视觉噪声(随机换台的电视),纯好奇心智能体会永远停在屏幕前,再也不移动——这是 AI 版本的成瘾行为。两个互相对战的好奇心智能体打乒乓球,会无限延续对打而不试图得分,最终因为过长的对打序列崩溃了 Atari 模拟器的状态机——它们被惊喜程度最大化了。
Part III:规范性与价值对齐
模仿学习与级联误差
Chapter 7 从人类特有的模仿能力开始。Andrew Meltzoff 在 1977 年发现,出生不到一小时的婴儿能够模仿成人吐舌头。比较研究显示,黑猩猩并非天然的模仿者,"类人猿善于模仿"的俗语恰恰说反了——人类才是自然界独一无二的模仿动物。
ALVINN(1990)是第一个通过模仿人类驾驶者学会开高速公路的神经网络,但模仿学习有一个结构性缺陷。专家几乎不会犯错,因此训练数据里没有"从错误状态恢复"的示例。一旦学习者偏离,它看到的场景与训练数据系统性不同,没有任何之前的经验可以迁移。Stéphane Ross 和 Andrew Bagnell 做了理论分析:纯模仿学习的误差随任务长度呈平方级放大,任务扩展十倍,累积误差就会扩展百倍。
Ross 的 DAgger 算法解决了这个问题:让人类教练观看学习者实际犯错的过程并演示纠正行为,将这些纠正数据加入训练集。只需三圈 SuperTuxKart,几乎完美驾驶。Nvidia 2016 年的真实路况测试用了三个摄像头的办法:正向、左偏 30 度、右偏 30 度,对应"保持"、"向右修正"、"向左修正"三类标签,72 小时数据让系统能在 Monmouth County 的公路上稳定行驶。
AlphaGo Zero(2017)将模仿推到了极限:不使用任何人类棋谱,只与自身对弈。它学习的是自己在蒙特卡洛树搜索(MCTS)后实际选择的落子——用"理性的较慢版本自己"来训练"直觉的较快版本自己"。72 小时后击败了用三千万人类棋局训练出来的 AlphaGo。这个框架被 Paul Christiano 推广为"迭代蒸馏与放大"(iterated distillation and amplification):人类作为"顶层判断者",机器系统层层细化和执行,每次决策的结果反过来改进机器的内在模型,逐步逼近"如果我们拥有更多时间和算力,我们会做出的判断"。
逆强化学习与合作式对齐
Chapter 8 从 Stuart Russell 在 1997 年走去 Safeway 超市的路上开始。他注意到人类步态极其稳定,既不能简单地用"最小化能量消耗"解释(生物力学的实验多次修正这一结论),也不能简单地用"最小化关节应力"解释。他认为可以倒过来问:如果观测到的行为是强化学习的输出,那么被优化的奖励函数是什么?这就是逆强化学习(IRL)。
Ng 和 Russell 在 1998 年证明了 IRL 在简单环境里可行。Abbeel 和 Ng 把它用于教直升机飞翔。问题在于,高难度特技动作的奖励函数几乎无法手写——"chaos"这个动作只有一个人类飞手能完成,如何把它的奖励形式化?答案是:用 IRL 从他不完美的尝试中推断他的意图,用那份意图作为机器的优化目标。机器从不完美的示范中提取出"完美意图",然后比人类更精确地执行。
Brian Ziebart 的最大熵 IRL(2008)更进一步:它假设奖励更高的行为出现概率更大,用信息论找最可能解释观测行为的奖励函数,放弃了"专家行为完全理性"这一前提。用匹兹堡出租车数据训练后,系统不仅能预测司机会走哪条路,还能从已行驶的部分路段推断目的地。
Christiano、Leike 及其团队在 2017 年将 IRL 推进到"只有评估者"的场景:不需要任何示范,只需要人类裁判反复在两段视频中选择"哪个更好"。MuJoCo 的单腿机器人从人类对数百对视频的偏好判断中学会了做后空翻——每个提供反馈的人都形成了略有不同的"柏拉图理想的后空翻",体现在机器人的动作风格里。Leike 的感慨:这套方法原则上可以把"有帮助"、"友善"、"好的行为"等模糊概念作为优化目标,只要有人类能够识别。
Russell 和 Hadfield-Menell 提出了合作式逆强化学习(CIRL)。传统 AI 模型的假设是:机器有一个确定的目标函数,努力优化它。CIRL 的假设是:人类知道真实目标,机器不知道,双方合作共同最大化那个只有人类知道的奖励函数。在这个框架下,不确定性成为一种美德:机器越确定自己知道目标,越会拒绝人类的干预;机器越承认自己可能有偏差,越会主动暂停行动、征询人类意见。
不确定性、影响力与可纠错性
Chapter 9 从 1983 年苏联预警军官 Stanislav Petrov 的决定开始:卫星报告五枚美国洲际弹道导弹来袭,系统标注"最高可信度",但他凭直觉认为真实攻击不会只发射五枚,最终判断为误报,没有上报。导弹警报是阳光反射。他描述当时的心理状态:"我自己也不确定,直到最后一刻。"
深度学习系统长期以来缺少这种自我怀疑的机制。它们对训练分布之外的输入同样给出高置信度——随机噪声也能被识别为"99.6% 的豹子"。Oregon State 的 Thomas Dietterich 将其命名为"开放类别问题"(open category problem):系统被训练在一千个类别上,就隐含地假设宇宙只有这一千种东西,遇到千类之外的输入仍强行归类。
Yarin Gal 和 Zoubin Ghahramani 发现了一个实际可用的不确定性估计方法:在推理时保持 dropout 开启,多次采样取平均。他们证明,这在理论上严格等价于一类 Bayesian 神经网络,计算代价接近零。德国图宾根大学的 Christian Leibig 团队把它用在糖尿病视网膜病变检测上:系统把最不确定的 20% 病例转介给人类专家,不仅满足了 NHS 的自动转介标准,还超过了。
DeepMind 的 Victoria Krakovna 和 Laurent Orseau 研究"影响力测量":智能体在不确定时应该避免做出影响不可逆或影响范围广的行为。Krakovna 开发了"逐步相对可达性"(stepwise relative reachability):量化每个时刻还有多少可能的世界状态是可达的,尽量避免让这个数字下降。用苏库班(sokoban)谜题测试:一条最短路径会把箱子推进死角,稍长的路径会留住更多可能性——具有相对可达性目标的智能体选择了稍长的路径。Oregon State 的 Alexander Turner 提出"可达效用保存"(attainable utility preservation),AUP 智能体被要求保持自己实现随机辅助目标的能力,结果其行为在 AI 安全网格世界中意外地谨慎和体贴。
关于可纠错性(corrigibility):一个系统被关机,如果它是个纯粹的目标优化器,它会抵抗——因为死了就无法完成目标(Stuart Russell 的例子:你没办法在死了的时候去拿咖啡)。Berkeley 团队的"关机开关博弈"证明:只要系统保持对自己目标猜测的不确定性,它就会主动征询人类意见,并在人类干预时顺从。不确定性成为合作的数学基础。但这个结论有两个脆弱点:一旦系统的不确定性降至零,动机消失;一旦系统认为人类在某个问题上犯了错,它会认为自己知道得更好,开始忽视人类的干预。
结论与批判
全书终章回过头对前九章方案做了逐一审视与反驳。
关于代表性:改善人脸识别系统对少数族裔的准确率,与政府用这些系统对少数族裔进行监控,是两件事。更准确地识别已被过度监控的人群,未必带来更好的结果。
关于公平性:COMPAS 用"再逮捕率"作为"再犯率"的代理,隐含了一个假设:服满刑期和提前假释的人,未来行为会相同。这假设了监禁本身不影响人的行为,且监禁执行的均匀性。两个假设都可疑。
关于透明性:研究表明,当一个模型变得更透明,人们对它的信任度会跟着上升,而且不管模型本身准不准都会这样——更透明的模型反而可能让人更难察觉它犯了错。
关于分布漂移(distributional shift):系统在训练分布之外总会失效,但这类风险往往无法在训练集内部提前测出。语言模型拿 2016 年的英语语料训练,到 2017 年英语用法已经略有演变,2018 年更明显——复现不出当年论文精度,有时仅仅因为现实世界里的语言本身先变了。
关于强化学习:RL 的大多数假设——环境遍历性(ergodicity,死了可以重来)、奖励稳定、状态空间离散、智能体是世界里唯一的行动者——在现实世界里都不成立。"现实世界不是遍历的,跳窗就出局了。"
关于模仿学习:模仿依赖于教师和学习者能力相当的假设。如果你模仿一个做了某件事的人,但他的能力远超你,你可能学到了开头却完成不了结尾。Harvard 法学家 Cass Sunstein 的"第二最优理论"指出:在现实中偏离所有最优假设的情况下,最优策略的近似版本可能与最优策略毫无相似之处。缺了英雄的能力却硬照搬英雄的套招,招来的往往是灾难。
关于逆强化学习:标准 IRL 把被观察者假设成行为最优的专家,可现实中的人常常只是摸索前行的普通新手。Cooperative IRL 又假设人类要么完全不知道自己被观察(自然行为),要么完全知道并在主动教学(教学行为)——实际场景里两者往往混在一起。如果系统的人类价值模型被设定得过于简单(比如只有"喜欢/不喜欢牛排"),它会把人类某些行为解读为"非理性",然后忽视这些不符合模型的输入,逐渐走向不服从。
书以 Will MacAskill 的框架收尾:在不确定什么是正确的道德理论时,应该怎么行动?这是"元伦理不确定性",他主张类似投票或议会的框架,让不同道德理论各自持有一定权重,并在某些后果可能代价极大的决策上保持极度谨慎——哪怕该后果发生的概率很低。"如果我们在满天繁星中布满了错误的东西,那几乎等于零价值——所以这真的是……最重要的风险,不确定性本身就是存在风险。"
Norbert Wiener 1960 年的预言作为全书底色:当技术能力的提升剥夺了愚蠢行为原本带来的自然惩罚,我们的愚蠢才真正开始危险。目前保护我们免受自身愚蠢全面后果的,恰恰是我们的无能为力——技术能力的提升正在剥夺这个保护。