Hello World

这本书要回答的问题

《Hello World》（副题 Being Human in the Age of Algorithms）是伦敦大学学院数学副教授 Hannah Fry 在 2018 年由英国 Doubleday 出版的非虚构作品，美国版由 W.W. Norton 于 2019 年发行。全书分八章：导言、Power、Data、Justice、Medicine、Cars、Crime、Art，外加一章结论。Fry 依次检查算法在权力、数据、司法、医疗、交通、刑侦和艺术领域如何参与决策，以及这些决策对人的自由、健康、安全和隐私意味着什么。

Fry 写这本书的材料有两类。一类是公开报道的案件——深蓝对卡斯帕罗夫、Target 的怀孕预测、COMPAS 风险评估、Air France 447 空难；另一类是她本人对研究者与实践者的采访，包括犯罪学家 Richard Berk、司法心理学家 Mandeep Dhami、病理学家 Andy Beck、机器人学家 Paul Newman、社会学家 Jack Stilgoe、音乐智能算法作者 David Cope、进化生物学家 Armand Leroi 等。书中还引用了大量已发表研究：Epstein 的搜索排序实验、纽约保释研究、Music Lab、修女研究等。

Fry 在导言里交代了自己的立场：物体和算法本身无所谓善与恶，用途决定后果。GPS 曾被设计用于发射核导弹，如今在送披萨；流行音乐被循环播放时也曾充当刑讯工具。她因此把这本书定位为关于人的书——关于人与算法之间的关系、何时该信任机器、何时该保留否决权，以及如何判断一个算法对社会是否有净收益。

Power：算法的力量与人的信任

深蓝、卡斯帕罗夫与期望

1997 年 5 月，IBM 的深蓝以 3.5 比 2.5 战胜卡斯帕罗夫。Fry 指出，这场胜利的成因超出计算能力本身。IBM 工程师刻意让深蓝在算出招法后拖延几分钟再落子，从卡斯帕罗夫的角度看，这台机器像是陷入了大量计算的挣扎。卡斯帕罗夫据此判断自己把局面拖进了深蓝无法处理的复杂度，结果在第二局被深蓝封堵后翼进攻后心态崩溃，最终认输。

卡斯帕罗夫在 2017 年的书里承认："我错误地假设了——对计算机来说出人意料的着法也是客观上强力的着法。" Fry 由此引出的观点是：算法的力量不限于代码本身，还包括人的期望与心理。人会把超出实际的智能投射到机器上，这一现象贯穿全书。

算法是什么：定义、分类与两种范式

Fry 给出 Merriam-Webster 的算法定义：为解决问题或达成目的而执行的分步过程。按这个宽泛定义，蛋糕食谱和指路说明都算算法。日常用法中的算法通常指数学对象——把方程、算术、代数、概率翻译成计算机代码，喂入真实世界的数据，设定目标后运行。

她把算法的任务分成四类：排序（Google 搜索、Netflix、GPS 路线）、分类（Facebook 广告、YouTube 内容过滤、手写识别）、关联（OKCupid、Amazon 推荐）、过滤（Siri 从背景噪音里分离人声，Facebook 与 Twitter 定制信息流）。多数算法是这四类的组合，UberPool 是例子。

实现算法有两种范式。规则型算法由人写指令，直白易懂，但只适用于人类知道怎么写指令的问题。机器学习算法让机器从数据里自己找规律，擅长图像识别、语音和翻译这类写不出规则的任务，代价是内部过程对人不透明。Fry 举了日本研究者的例子：只改动汽车照片前轮上一个像素，就能让机器学习算法把照片从"汽车"判成"狗"。

Fry 提醒读者不要用科幻里的全能智能来理解当下的 AI。她认为更准确的说法是"计算统计学上的革命"，并引用计算机科学家 Andrew Ng 的比喻：担心恶意的全能 AI，就像担心火星上人口过剩。真正需要操心的是已经实际运行的决策算法——它们在定刑期、定癌症治疗方案、定车祸时的行为。

盲信、误信与否决权

2009 年，Robert Jones 在托德莫登跟着 TomTom 导航开上一条越来越窄的土路，最后撞进悬崖边的木栅栏。他事后承认自己"没有理由不信任"导航，没想过否决它的指令。Epstein 2015 年的实验显示同类信任的威力：2,150 名未决定选民被分入使用不同偏置结果的"Kadoodle"搜索页面，几分钟后，参与者选择被偏袒候选人的概率高出 12%。

爱达荷州的 Medicaid 预算是另一个极端。州政府采用一个自动计算补助金额的"预算工具"，把大量残疾人的补助削减最多 30%。ACLU 律师 Richard Eppink 花了四年、集合四千原告才拿到软件——结果发现那是一个 Excel 表格，公式里满是 bug，法院最终裁定其违宪。Eppink 的评论是，人们对计算机生成的结果有天然信任，几乎不去追问它内部怎么工作。

否决权需要正确的方向。1983 年，苏军值班军官 Stanislav Petrov 判断卫星警报只报告五枚导弹不合常理，压住警报不发，避免了一场核反击；2015 年，Alton Towers 过山车事故里，两名工程师在安全算法给出警告后同时按按钮强制重启，导致载客列车撞上滞留空车，两名少女截肢。同一项否决权力，两次完全相反的后果。

Fry 引用 Paul Meehl 1954 年的著作《临床与统计预测》：Meehl 比较了人类与算法在成绩、精神健康结果等预测上的表现，结论是哪怕很简单的数学算法也几乎总是优于人。她在注释里补充了一个例外——1950、60 年代针对同性恋"诊断"的研究里，人类判断好于算法；她引用这个例外来说明有些东西本质上属于人间的经验，数据与公式难以描述。

人的信任也会走向另一极端：算法厌恶（algorithm aversion）。人对自己犯的错比对机器的错更宽容，哪怕自己的错误更大。Fry 举了自己的例子：她曾坚持认为走小路比 Waze 的路线更快，结果常堵在车流里。

Data：数据交易与推断

零售数据的价值

2004 年扎克伯格和朋友在即时通讯里炫耀自己手握四千个哈佛学生的资料，称对方"信任我"，并写了一句后来被反复引用的粗话。Fry 认为可以更宽容地理解一个 19 岁学生的吹嘘，但指出扎克伯格错了：人们交出资料，是为了换回一个能自由联系亲友的私人网络。问题在于交换时很难看清数据的长远价值，也不知道自己卖得有多便宜。

英国超市 Tesco 1993 年在 Edwina Dunn 和 Clive Humby 主导下试验 Clubcard。早期数据只记录姓名、地址、消费额和时间，但已经足以让公司看出少数忠诚顾客贡献了大量销售额、人们愿意为店铺跑多远、哪些街区竞争占优。定向寄出的优惠券有近 70% 被兑换，持卡人消费比非持卡人高 4%。董事会主席听完汇报后说，他们三个月对顾客的了解超过了自己三十年。

美国连锁 Target 2002 年开始分析顾客数据，发现女性购买无香润肤露与注册婴儿礼单之间存在关联，据此给可能怀孕的顾客寄母婴优惠券。一名父亲拿着寄给他女儿的怀孕优惠券上门抗议，事后才知道女儿确实怀孕。Target 高管对媒体的解释是：只要顾客不觉得自己被窥视，工具就仍然有效，所以如今它会混入无关商品的广告来掩盖定向。

一位保险公司首席数据官告诉 Fry，他们通过超市会员数据发现，买新鲜茴香的家庭对家财险的理赔率更低，因为爱做饭的人是"更负责任、更顾家"的人。Fry 由此把问题推给读者：线下购物已经能推断出这些，拿到全部线上记录又能推断出什么。

数据中间商与去匿名化

Palantir 2003 年由 Peter Thiel 创立，估值约 200 亿美元，几乎与 Twitter 相当。它属于数据中间商：买下并整合人们的个人信息，再转售获利。同类公司包括 Acxiom、Corelogic、Datalogix、eBureau。每次在线购物、注册网站、填保修卡、登记投票，信息都可能被卖出。中间商把各来源的数据合并成一份数字档案，里面可能包含你的体重、政治倾向、用药记录、父母是否离异、是否容易上瘾、性取向乃至"轻信程度"。

广告定向的流程在"选项三"里变得可疑：商家向中间商买一份"65 岁以上、喜欢热带岛屿、有闲钱"的名单，中间商不透露姓名，它在你登录常去的网站时放置 cookie，让 Fry 虚构的加勒比游轮广告跟着你走遍网络。Heidi Waterhouse 流产后无法退订那些怀孕广告，她说"没有人想到过这个后果"。2015 年的一项研究发现 Google 给女性展示高薪管理职位广告的频率低于男性；Latanya Sweeney 发现，"听起来像黑人"的名字更可能匹配到带"arrest"的广告。

2017 年 3 月美国参议院投票废除了 FCC 早前通过的限制中间商出售浏览器历史的规定。德国记者 Svea Eckert 和数据科学家 Andreas Dewes 用假中间商买到 300 万德国人的匿名浏览数据——它们来自一个名为 The Web of Trust 的 Chrome 插件，用户下载时并不知道它在记录自己。去匿名化轻而易举：Xing 个人主页的 URL 直接带着用户名；自己登录 Twitter 看分析页会暴露身份；更常见的办法是把公开的社交痕迹与匿名浏览记录交叉比对访问时间与网站。团队最终还原出几乎所有人的姓名和整整一个月的浏览历史，其中有一位法官，记录显示他每天都在看色情网站，同时搜索婴儿用品与妇产医院。

剑桥分析公司与微观操纵

剑桥分析公司的风波是数据推断介入政治的集中案例。Fry 回顾了学术脉络：心理学家用五大人格（开放、尽责、外向、宜人、神经质）量化性格；剑桥与斯坦福的研究者 2012 年起建立 Facebook 点赞与人格的关系，到 2014 年宣称只要收集 300 个赞，算法对一个人性格的判断就比其配偶更准。同一团队后来把广告与人格匹配：给外向者用"尽情跳舞（但全都被看着）"，给内向者用"美不必大声"。论文称个性化广告带来 40% 更多的点击和 50% 更多的购买；Fry 随后把数字拆开——普通广告每 1000 人里有 31 人点击，定向广告是 35 人；那个"50% 提升"指的是每 1000 人里的购买次数由 11 变成 16。

据称剑桥分析公司把这些方法用在了特朗普竞选里。Fry 指出他们的做法与 Fry's 虚构旅行社、与奥巴马和克林顿阵营的微观定向并无本质区别；但根据 Channel 4 卧底录像和吹哨人证词，它还把广告伪装成新闻，比如"关于克林顿基金会的十个不便真相"，以及针对高神经质单亲母亲的拥枪宣传。效果是否成立，Fry 保持谨慎：Facebook 2013 年对 689,003 名用户操纵信息流的实验确实改变了用户情绪，但差异不到十分之一百分点。她引用 Jamie Bartlett 的数字——特朗普在宾夕法尼亚以 600 万票里领先 4.4 万、威斯康星领先 2.2 万、密歇根领先 1.1 万——来说明千分之一量级的影响在选举里也可能够用。至于剑桥分析究竟起没起作用，Fry 认为无法回溯因果链，无法知道。

评分系统与监管

中国的芝麻信用把数据压缩成 350 到 950 分之间的单一分数。Fry 引用公司技术总监李英云的举例：每天打十小时游戏的人会被视为"闲人"，常买尿布的人会被视为"负责任的家长"。分数高于 600 可办特定信用卡，高于 650 可免押金租车、走机场 VIP 通道，高于 750 可申请快速签证；当系统在 2020 年转为强制后，低分者可能面临出境、购房、乘机、住星级酒店的限制，银行也会被引导限制贷款。Leiden 大学学者 Rogier Creemers 称之为"忠诚计划的私生子"。

Fry 对数据隐私的总体态度并不完全悲观。欧盟 GDPR 在原则上让中间商无法再未经明确目的存储数据、未经同意推断个人信息；美国联邦贸易委员会 2014 年就发布报告谴责中间商，苹果和 Firefox 加入跟踪防护，Facebook 与中间商切割，阿根廷、巴西、韩国等国推出类似立法。她提醒读者"天下没有免费的午餐"：使用任何一个免费算法时，都该问它真正在做什么、这个交易是否划算。

Justice：法庭里的算法

法官的不一致

2011 年伦敦骚乱中，Nicholas Robinson 从被砸的超市拿走一箱 3.5 英镑的瓶装水，判刑六个月；Richard Johnson 戴着面罩从游戏店抢走一批游戏，却只获缓刑和 200 小时社区劳动。Fry 用这对案例引出司法一致性的问题：相同犯罪能否得到相同判决。

研究给出的答案令人不安。1970 年代的弗吉尼亚研究把同一个假设案例交给 47 名州法院法官：一位 18 岁、无前科、成绩良好的女学生被控持有大麻。29 人判无罪，18 人判有罪；判有罪者中，8 人建议缓刑、4 人主张罚款、3 人两者并罚、3 人主张入狱。英国的 81 名法官面对 41 个假设保释案例，没有一个案例获得全体一致意见；其中 7 个案例被悄悄重复（只改被告姓名），多数法官对同一案例两次给出的决定不同，有些人的自我一致性不比随机抛硬币更好。统计上这套一致性用 Cohen's Kappa 衡量，研究中平均为 0.69。

一刀切的量刑指南（美国联邦、澳洲部分地区）能保证一致，代价是牺牲个别化正义：同样的盗窃罪，职业惯犯与失业养家的初犯会被同样对待，也丢掉了改造的机会。Fry 把两者的冲突摆出来：一致性要求与个别化要求无法同时满足——除非加入算法。

再犯风险评估算法

算法能计算再犯风险，判定有罪超出它的能力。这个传统的源头是 1928 年芝加哥大学社会学家 Ernest W. Burgess：他用伊利诺伊三所监狱的 3000 名囚犯数据挑出 21 个"可能显著"的因素（包括"流浪汉""酒鬼""农家少年"这类分类），给每个人打分。结果，低风险组有 98% 顺利度过假释期，高风险组有三分之二违反假释。批评者指出他不过是在用随手可得的资料，方法"只是用方程包装的意见"。

现代算法用随机森林：建大量决策树，每棵树从数据的一个随机子样本学习，新被告进来时让所有树投票。Fry 把它比作《谁想成为百万富翁》里的"求助观众"——一群陌生人的合议比最聪明的人更常答对（91% 对 65%）。随机森林被 Netflix 用于推荐、Airbnb 用于检测欺诈、医疗用于诊断。

2017 年研究者把算法与纽约市 2008-2013 年的保释记录对比：75 万人次保释听证，408,283 人被释放，事后知道其中 15.2% 未出庭、25.8% 保释期间再犯。法官把算法眼中风险最高的人群里近一半放了保释；而事后统计显示这一组里 56% 以上未出庭、62.7% 犯下新罪（含强奸与谋杀）。研究者认为，算法可以把待审入狱人数减少 41.8% 而犯罪率不变，或者在不增加入狱比例的情况下把弃保率降低 24.7%。罗得岛州法院使用这类算法八年，监狱人口下降 17%，再犯率下降 6%。

机器的偏差与数学意义上的公平

算法同样会犯错。宾夕法尼亚大学犯罪学教授 Richard Berk 用《星球大战》打比方：算法在问"谁是达斯·维达，谁是卢克·天行者"。放走维达是假阴性，关押天行者是假阳性。Berk 的算法自称能预测凶杀，准确率 75%——即便如此，仍有许多被误判高风险的被告会失去自由。

COMPAS 是威斯康星法院使用的专有风险评估工具，内部机制被视为商业机密。Paul Zilly 偷了一台割草机，辩方与检方已达成认罪协议，法官看了 COMPAS 分数后驳回了协议，把他从县监狱一年改判州监狱两年。2003 年的 Christopher Drew Brooks 案里，算法把年龄作为再犯因素——19 岁犯法定强奸罪反而因为年轻被加重，若他 36 岁，算法会建议不予入狱。

2016 年 ProPublica 对 7000 多名佛罗里达罪犯的 COMPAS 分数做逆向分析，发现算法的总体错误率对黑白被告大致相同，但错误种类不同：未再犯的黑人被告被误标为高风险的概率是白人的两倍（假阳性偏黑），再犯的白人被告被误标为低风险的概率是黑人的两倍（假阴性偏白）。

Fry 随后解释了为什么"对每个群体同样公平"在数学上做不到。全球 96% 的谋杀犯是男性；假设预测准确率 75%，被算法标记为潜在谋杀犯的 100 人里 96 人是男性，由于对男女的预测准确率相同，会有更多无辜男性被误标。她写道：只要各群体犯罪率不同，就不存在一个对所有人预测准确率相同、且假阳性与假阴性发生率也相同的测试。"结果有偏，是因为现实有偏。"除非各群体的被捕率相同，这类偏差是数学上的必然。

Fry 因此反对简单抛弃算法。Google 图片搜"数学教授"满屏白人男性是现实的如实映射——94% 的数学教授是男性——但算法可以把目标设为"我们想要的社会"而非"我们生活的社会"；实际上她写的是"反映我们想要的社会"这个选项。在保释场景，高风险分数也可以用来追问"为什么"：被告有没有交通工具、有没有育儿负担？这些答案应当由公开辩论与立法机构决定，私人公司的会议室给不了。她支持建立类似 FDA 的算法监管机构，并强调 ProPublica 这类监督组织必须继续存在，只要对偏差的指控别以"全面禁用"收场——先想清楚禁用后剩下的是什么。

法官自身的人类弱点

Fry 用 Kahneman 的球拍与球题目说明人的直觉问题：球拍与球共 1.1 英镑，球拍贵 1 英镑，球多少钱？71.8% 的法官答错（正确答案 5 便士）。心理学把思考分为系统一（自动、直觉、易错）与系统二（缓慢、分析、懒惰）；法官和所有人一样受制于这套结构。保释决定其实是按一张警告清单逐项检查，而这些警告项与种族、性别、教育水平高度相关。

锚定效应同样起作用。超市"每人限购 12 罐汤"的牌子把平均购买量从 3.3 罐推高到 7 罐；检方要求的赔偿额、辩方建议的刑期、甚至休息时记者电话里的一句"该高于还是低于三年"，都能移动法官的判决。让法官在审案前掷一次骰子也能改变判决。

还有 Weber 定律：人感知的是相对差异而不是绝对值。刑法里的后果是——刑期之间的档距随刑期变长而拉大，20 年的罪加 3 个月"感觉不够"，于是直接跳到 25 年。2017 年对英澳十万多份判决的研究发现，被判有罪的被告中最多 99% 的刑期符合这条公式，与罪名、被告身份、国家、是否监禁刑都无关，只取决于"法官脑子里蹦出的那个看起来差不多的数"。Fry 还列出法官有女儿会更倾向女性、主队输球后更少批准保释、午休前判决更不利、连续四个成功案例后第五个申请更容易被拒等现象，并注明午休效应"尚未被复制"、效应大小有争议。

谁更愿意要算法？Fry 采访的罪犯告诉 Dhami：即使知道人类法官更容易犯错，他们仍想要"人味"。伦敦一位刑事辩护律师说他靠利用系统里的不确定性吃饭，预测越确定，"辩护的艺术"空间越小。Dhami 自己则说，如果是她面临入狱，她不想让任何人对她的未来用直觉，她想要经过推理的策略。Fry 的结论是：比较的对象应该是算法与没有算法时剩下的系统；人类司法系统本身就内置着不公。设计用于司法的算法会逼人想清楚这个系统到底为了什么，这本身就要求一次关于法庭决策如何做出的艰难辩论。

Medicine：医学模式识别

病理学中的模式识别

2015 年一项研究让 16 只鸽子在触摸屏上分类乳腺组织切片图像，单独工作时它们判对 85%，汇总投票后升到 99%。Fry 用这个例子说明：在细胞簇中找模式并非人类独有。

现代医学建立在模式识别之上。希波克拉底把观察和病例报告变成医学的方法；十五世纪中国用轻症天花患者的痂吹入鼻腔来预防天花；1840 年代 Semmelweis 从产科病房数据发现医生解剖尸体后不洗手接生，导致产褥热高出五倍。

病理科医生每天要看几百张玻片，每张含数万到数十万细胞。哈佛病理学家、PathAI 创始人 Andy Beck 说，每位病理医生每天只看五张玻片也许能达到完美，但现实不是这样。乳腺诊断是一条连续谱：2015 年一项研究取 72 份含良性异常的活检，请 115 名病理医生诊断，只有 48% 的病例意见一致。中间的模糊类别——非典型细胞、原位癌——决定了病人面对的是乳房切除还是不做干预，而医生之间几乎像掷硬币。

神经网络与敏感度、特异度

图像识别写不出规则。Fry 以"判断照片里有没有狗"为例说明：四条腿、垂耳、毛——总有例外。办法是神经网络：输入图片，流过层层可调的"旋钮"，输出各类别的概率。训练靠反复微调旋钮，直到预测接近答案。操作者通常不知道网络内部学到了什么——一个区分狼与哈士奇的算法靠的是背景里有没有雪。

对筛查来说，敏感度（不漏掉肿瘤）与特异度（不把正常当可疑）难以兼得。人类病理医生特异度好、敏感度差。CAMELYON16 比赛中，病理医生整体判断 96% 正确、30 小时内只找到 73% 的微小肿瘤；最佳神经网络找到 92.4% 的肿瘤，但每张玻片误报 8 处正常细胞。2013 年哈佛研究把大猩猩图片藏进胸部扫描图，83% 的放射科医生没看见。两者的结合把准确率推到 99.5%：算法先筛出可疑区域，医生复核排除误报。

数据里的隐藏信号

肯塔基大学流行病学家 David Snowden 说服 678 名修女捐出大脑研究阿尔茨海默病。研究者发现她们 22 岁左右入会时写的自传里，语言复杂度与晚年是否患痴呆相关：后来患上阿尔茨海默的修女中有 90% 年轻时语言能力低，而晚年认知完好的修女里只有 13% 如此。

丹麦 Ribe 郡的尸检研究显示，83 名死于其他原因的妇女中近四分之一乳腺里有原位癌细胞，约 9% 的妇女可能带着肿瘤生活却毫无症状。这意味着"发现异常"与"预知它会如何发展"是两回事：原位癌只有约十分之一会致命，美国却有四分之一确诊女性接受全乳切除。Fry 引用 Jonathan Kanevsky 的话说，可以让算法直接预测"这块组织会不会转移"，跳过现有的类别体系。Andy Beck 的算法在荷兰病人样本上发现，最能预测生存的线索不在肿瘤本身，而在邻近的基质组织。

诊断机与医疗数据难题

IBM 的 Watson 源自 2004 年 Charles Lickel 在一家餐厅看到 Jeopardy 冠军 Ken Jennings 的场景。Watson 花了七年学会答题：解析线索、列出候选答案、逐个衡量与线索的匹配度、更新置信度。医生管这叫鉴别诊断，数学家叫贝叶斯推断。IBM 宣传 Watson 要"根除癌症"，但 2016 年德克萨斯大学 M. D. Anderson 癌症中心的 6200 万美元合同被终止，2017 年 STAT 报道它连"学习不同癌症类型"的基本步骤都还没做到。Watson 确实在日本诊断出一例医生漏掉的罕见白血病，也参与了发现五个与运动神经元疾病相关的基因。

Fry 用 Tamara Mills 说明数据问题的严重性：这个 13 岁女孩在去世前四年里去医院和诊所 47 次，没人发现她的哮喘在恶化。英国 NHS 不把各机构的记录串起来，很多记录仍是纸质，Fry 称 NHS 是"全世界最大的传真机买家"。2016 年 Google 旗下 DeepMind 与 Royal Free NHS 信托签约，换来 160 万患者五年医疗数据去开发急性肾损伤提醒应用，但患者从未被告知也未给过同意，新闻曝光后引发抗议。Fry 承认 Google 的数据安全记录比 NHS 好（后者 2017 年因 Windows XP 被勒索软件瘫痪），但问题在于一家巨型科技公司拿走关于你的这类信息是否合理。

Timandra Harkness 告诉 Fry 医疗数据为何特殊：它是人一生的叙事——英国三分之一的女性做过终止妊娠；遗传数据还牵涉父母、兄弟姐妹和子女；DNA 无法改变。2013 年她主持的焦点小组发现，普通人最担心的不是数据被黑客盗走，而是"被归类后，成见被投射到自己身上"——比如超市会员卡和医疗记录打通后，买披萨的烟民可能被排到关节置换手术等候名单末尾。

基因数据与隐私

Francis Galton 1884 年在伦敦健康展览会自费开设"人体测量实验室"，向每人收三便士，量视力、握力、打击速度，最后拿到 9,337 人的测量数据和一笔利润。Fry 说这和今天的基因检测公司有相似之处：23andMe 花 149 英镑换你一管唾液，回报是耳垢类型、能否长连眉、晒太阳是否打喷嚏、乳腺癌与阿尔茨海默风险这类报告。公司以匿名形式把 80% 客户的基因数据卖给研究伙伴，董事会成员对 Fast Company 说"长期目标不是靠卖试剂盒赚钱"。Fry 提醒："你不是在使用产品，你就是产品。"

匿名承诺同样可疑。2005 年，一个通过匿名捐精者出生的年轻人靠唾液样本顺藤摸瓜找到了生父；2013 年一篇论文证明，用家用电脑和网络搜索就能通过姓氏推断识别出大量基因样本的主人。保险歧视是真实风险：美国的人寿保险公司可以问你有没有做过帕金森、阿尔茨海默或乳腺癌风险检测，答案不满意就拒保；英国对超过 50 万英镑的保单允许考虑亨廷顿病检测结果。撒谎会使保单失效，唯一安全的做法是根本不做检测。

为个体还是为人群

Fry 把医学的最终问题设为：如果诊断机能够开治疗方案，它该服务个体还是人群？一个只为患者服务的机器会给普通咳嗽开 X 光、血检和抗生素；一个为整个医疗系统服务的机器会顾忌抗生素耐药性、资源与等候名单，大概率让病人"吃片阿司匹林"。器官分配、NHS 或保险公司的成本控制、制药公司的用药推广，都会产生不同的目标。医疗领域没有控辩双方，各方都朝着"治好病人"走，但每个参与方的目标仍有细微差别。Fry 认为，算法的收益被夸大、风险被掩盖的时候，人该问的是：这些说法要我信什么，谁从中获利。

Cars：无人驾驶与自动化

沙漠比赛与贝叶斯方法

DARPA 2004 年在大漠里的 Slash X 酒吧设下 142 英里的无人车赛道，奖金 100 万美元，赛前两小时才给每队一张含 2000 个 GPS 航点的光盘。106 支队伍报名，15 台车通过资格赛，没有一台完成比赛——翻车的、撞墙的、被风滚草困住倒车来回的，卡内基梅隆大学的头号车跑了 7 英里后轮胎着火。2005 年同一赛事有五台车跑完 132 英里，技术几乎重造。Fry 把这段历史连同 1939 年世博会 GM 的"未来世界"、Firebird II、英国研究者改造的雪铁龙 DS19、卡内基的 Navlab、欧盟的尤里卡普罗米修斯项目一并列出，说明无人驾驶的梦想历史悠久，而落地比看起来难得多。

难在哪里？Fry 逐项拆解。摄像头没有尺度感——两条平行线可能是远方的路，也可能是近处的树干；《星球大战》开场用几英尺的模型拍出巨型歼星舰正是靠这个原理。卡内基梅隆的 ALVINN 在 1990 年代用人类驾驶数据训练，上路后遇到一座桥突然猛打方向——它学的是"路边有草的地方可以开"，草一消失就不知所措。激光雷达能测距但读不了路牌，雷达不受天气影响但给不出形状细节，GPS 有那个蓝色圆圈代表的误差。每种传感器单独都不可靠，它们互相矛盾时算法不知道该信谁。

出路是贝叶斯定理。Fry 用"朋友说 Lady Gaga 在邻桌"来解释：把先验信念与每条新证据不断合并更新。这个定理源自 18 世纪的英国牧师托马斯·贝叶斯，他设计了一个向桌子上扔红球、再用其他球的位置推断红球位置的游戏；无人车定位就是同构问题——GPS、惯性测量、雷达每样都只给一点点信息，算法不断更新对"我在哪"的信念。斯坦福大学数学家 Persi Diaconis 形容 2005 年的获胜赛车："那辆车的每一颗螺栓都是贝叶斯的。"

传感器与不确定性

Fry 引用牛津大学机器人学教授、Oxbotica 创始人 Paul Newman 的话：整台车"是数百万行代码，但整件事可以框定为概率推断"。Newman 举了一个难题——两辆车在弯路上相向而行，人类司机会默认对方守规矩而保持冷静，无人车却需要学"不要去躲一个根本不会发生的碰撞，也不能在真的要迎头相撞时无动于衷"。更难的是开车以外的事：听到冰淇淋车音乐要警惕，路过踢球的孩子要减速，澳大利亚的袋鼠（Volvo 承认至今处理不了）跳跃轨迹混乱，以及红灯时有人挥手让你往前蹭、救护车在窄路要你开上人行道、油罐车横在乡间小路上要你不惜一切绕开——这些都不在《公路法规》里。Newman 说他不认为有什么智能水平是机器达不到的，"唯一的问題是何时"，而答案很可能很快。

社会学家 Jack Stilgoe 补充了"人"这一层。他认为"人是淘气的，是主动的行动者，不是风景的一部分"。2016 年伦敦政治经济学院的焦点小组参与者说，行人会"欺负"无人车：它必须停下来，你就能从它前面溜过去。自行车可以在无人车面前慢慢骑，因为知道不会有攻击性。解决办法要么是像禁止乱穿马路那样立新规，要么像机动车上路后把马、自行车、行人都赶出高速一样，把世界限制得让无人车"看起来"自主。Stilgoe 说，自主的修辞强调"不改变世界"，这在他看来是愚蠢的。Waymo 在凤凰城的车都被圈在预先定义的地理围栏里，Daimler 和 Ford 计划中的车也是限定区域的约车服务。Car and Driver 杂志说，没有哪家车厂真的期待那个满街无人车、零事故的乌托邦在可见的将来实现，他们只是想让华尔街认真对待自己、并吊起大众的胃口，同时卖更多的辅助驾驶功能。

电车难题

Fry 用"电车难题"讨论道德编程。2016 年巴黎车展上，梅赛德斯司机辅助系统主管 Christoph von Hugo 被问及无人车在碰撞中该如何选择，他的回答是"救车里的人"："如果你确切知道至少能救一个人，就救那一个。"互联网随即群起抨击，因为那年夏天《科学》的民调里 76% 的受访者认为无人车应该救尽可能多的人——宁可牺牲车内乘客。但同一项研究追问"你会不会买一台会谋杀你的车"时，受访者退缩了。Fry 说无人车行业的专家听到这个问题都会翻白眼，但她仍保留对它的好感：电车难题逼人承认，无人车核心是权力、期望、控制与责任委托的问题，也逼人面对"算法对你的生命做价值判断"这件事。

自动化的反讽

2009 年 5 月 31 日，法航 447 班机从里约起飞。机长在休息舱，副驾驶 Pierre-Cédric Bonin——32 岁、飞行 2936 小时、三人里经验最少、被同事称为"公司宝贝"——坐在操纵位。空客 A330 的自动驾驶几乎能独立完成全程。冰晶堵住空速管后自动驾驶解除，Bonin 在轻微颠簸中本能地把侧杆拉向左侧并一直向后拉，飞机进入失速下坠，228 人全部遇难。事后调查发现，只要把机头推下去、让气流重新流过机翼，他们本可以在 10-15 秒内救回飞机；Bonin 却一直压着侧杆，没人意识到是他造成的问题。

Fry 把这场空难与 Lisanne Bainbridge 1983 年的论文《自动化的反讽》连在一起：越依赖自动化，人的能力越退化。她列举了"记不住电话号码、认不得自己手写字、没有 GPS 找不到路"这些日常版本。在自动驾驶汽车上，问题同样存在：人类不擅长长时间注视一个几乎不发生任何事的屏幕——Bainbridge 说连最投入的人也撑不过约半小时。

特斯拉的 Autopilot 是"双手离开方向盘"（Level 2）的代表：系统能巡航，但要求司机时刻警惕并随时接管，方向盘传感器会提醒手离开太久。2016 年 Joshua Brown 在启用 Autopilot 37 分半钟后撞上横穿车道的卡车身亡，NHTSA 调查认为他当时没看路。网上有人用罐装红牛或橙子卡在方向盘上骗过提醒。优步 2018 年 3 月 18 日的致死事故里，车内录像显示"人类监控员"在碰撞前目光离开了路面。奥迪的交通拥堵领航（Level 3，"眼睛离开"）在慢速高速车流里完全接管，让乘客看书，但出事时风险最高。丰田研究所负责人 Gill Pratt 说最坏的情况是一台每 20 万英里才需要人接管一次的车：普通人每 10 万英里换一辆车，一辈子可能只遇到一次"哔哔哔，轮到你了"的警报，届时毫无准备。

Fry 认同自动化能救命——驾驶是人类最致命的可避免死因之一，简单的辅助就能省油、疏堵——但她质疑营销语言与实际能力的错位：特斯拉宣布"所有新车都具备完全自动驾驶硬件"，同时又要求用户接受"你必须保持对车辆的控制和责任"。她说，往方向盘塞橙子的人，是被受信任品牌的误导性语言催生出来的必然结果。她建议反过来设计：在完全自主到来之前，让系统当"守护者"而不是"司机"——丰田在做守护者/司机的双模式，Volvo 的自动紧急制动自 2002 年上市以来在英国的 5 万多辆 XC90 里没有一名乘员因事故死亡。最后一问被 Fry 抛给读者：一旦造出一个会犯错的算法，它好到什么程度才配得上放上我们的街道？

Crime：预测犯罪与识别面孔

地理画像

1995 年利兹一名女学生在多层停车场被挟持、强暴未遂。警方把血液 DNA 与两年前诺丁汉的一起强奸案匹配，又通过 Crimewatch 节目关联到十年前布拉德福德、利兹和莱斯特的三起案件。嫌犯名单有 33,628 人，覆盖 7,046 平方公里。加拿大前警察 Kim Rossmo 用他的地理画像算法接手：算法几乎忽略所有证据，只关注作案地点。它依赖两条规律——距离衰减（罪犯倾向在住所附近作案，离案发现场越远找到住所的概率越低）与缓冲带（连环犯会避开自家门口以躲避注意）。Rossmo 说连环犯像转动的草坪洒水器：单滴水的落点无法预测，水花洒久之后，看落点就能推断洒水器在哪。算法圈出了利兹郊区的 Millgarth 和 Killingbeck 两个区域，警察按区域人工比对指纹，在 Killingbeck 花 940 小时查档后找到了 Clive Barwell——一个住 Killingbeck、常去 Millgarth 看母亲的货车司机。他的 DNA 与案底匹配，1999 年认罪，被判八个连续无期徒刑。事后复盘显示，若按算法优先级逐个排查，只需排查 3% 的区域就能找到他。

地理画像几乎没有正义章里那种偏见问题：它只给现有嫌疑人列表排序，不能推翻出色的侦查，也不值得人过度信任。Fry 列出它的衍生用途：被 350 多个机构采用，包括 FBI 和加拿大皇家骑警；用于埃及按疟疾发病地点找蚊子孳生水域；她的一名博士生用同一算法预测炸弹工厂位置；伦敦的一群数学家甚至用它根据涂鸦出现地点追踪班克西。

热点、旗标与助推

地理画像只适用于罕见的连环严重犯罪。纽约地铁的故事把算法带到了城市层面。1980 年代的纽约地铁每年有约 20 名无辜者被杀。警官 Jack Maple 在 55 英尺的墙面上用蜡笔把所有地铁站和列车画下来，标出每一起暴力犯罪、抢劫和重窃案及其是否告破。他的"未来图表"让 Bill Bratton 看到了犯罪聚集的模式。Bratton 集中警力治理逃票等轻微违法——逃票者里不成比例地藏着要犯更大罪的人。1990-1992 年，地铁重罪下降 27%，抢劫下降三分之一。这套方法后来演化为 CompStat。

入室盗窃适合做预测：它有明确地址、报案率高、时间可知，而且盗贼像连环杀手一样偏爱熟悉区域。两个要素决定一栋房子对盗贼的吸引力：旗标——长期不变的属性（位置、街道繁忙度）；助推——短期事件（刚刚被盗）。刚被入室的房子在随后几天被再次光顾的概率升高十二倍，邻居也会被"助推"，效应沿街道衰减、两月内消失。洛杉矶警局与 UCLA 数学家合作，用 80 年间 1300 万起案件数据发现，预测余震的方程也能预测"余罪"。Fry 指出犯罪与地震的区别：不能预测首次主震，但主震后的余震可以。

预测警务的实践与反馈回路

PredPol 是这套思路的产品化。Fry 提醒读者它和《少数派报告》无关：它不追踪具体的人，只输出地理风险，并且预测的是风险等级，具体事件不在输出范围里。它像博彩公司的赔率师，在地图上画小红方块标明当晚的"热门"。肯特与洛杉矶的对照实验里，专家预测者猜中 2.1%（洛杉矶）和 5.4%（英国）的犯罪，算法在洛杉矶猜中的人数超过专家两倍，在英国某一阶段近五分之一的犯罪发生在红方块里。

落地手段各有代价。曼彻斯特 2012 年的"目标加固"研究把入室盗窃降低四分之一，但每防止一起犯罪耗资约 3,925 英镑。肯特的"警员踩点"把晚班巡逻派到红方块区域，肯特整体犯罪下降 4%；洛杉矶 Foothill 区头四个月下降 13%，同期城市其他地区上升 0.4%；加州 Alhambra 2013 年 1 月部署后入室盗窃下降 32%、车辆盗窃下降 20%。UCL 的 Toby Davies 提醒 Fry 两个问题：让警员下车巡逻本身就可能降低犯罪，与算法无关；更麻烦的是反馈回路——把警力派去算法预测的高危区会查出更多犯罪，查出的犯罪又强化预测，形成循环，对乞讨、流浪、低级别毒品这类与贫困相关的犯罪尤其危险。他认为人"几乎有权不被警察的注视持续压迫"。PredPol 的代码不公开，无法从外部确认它是否避免了这些回路。

芝加哥警局的"战略对象名单"改走个人路线，预测谁会成为涉枪犯罪的人。RAND 的评估发现，上不上名单对一个人卷入枪击的概率没有影响，却让他更可能被捕——警官似乎把名单当作了嫌疑人名单。HunchLab 则堆叠报案、紧急呼叫、人口普查乃至月相数据，没有关于"为什么"的理论，同样以知识产权为由不公开。

人脸识别与错认

2014 年，Steve Talley 因长相酷似一名连环银行劫匪，被 FBI 的面部识别专家指认，关了近两个月最高戒备监房，最终花了一年多才洗清罪名，期间失去工作、房子和探视权。Fry 用他的故事引入人脸识别的统计问题。

人脸识别与 DNA 的根本差别在于没有统计平台。DNA 检测对准基因组里已知高度变异的片段，能算出两份样本来自同一个人的概率，司法系统还可以靠选择标记数量来决定容忍的怀疑阈值。人脸没有这个基础——FBI 的一个法庭科学部门在演示文稿里直说："缺乏统计，结论归根结底是基于意见的。"相似性因人而异：Adelaide 研究者 Teghan Lucas 量了 4000 张脸的八个测量值，声称两张完全相同的脸的概率低于万亿分之一；但 Neil Douglas 在飞机上遇见了和自己几乎一样的陌生人并拍了自拍，Fry 自己 22 岁时也发现过一个"电子合成流行乐版的自己"。测量无法区分脸与脸——同一个人也会因年龄、疲劳、表情、镜头角度而变化。

算法的准确率也没那么高。Apple 声称 Face ID 被随机陌生人解锁的概率是百万分之一，但会被双胞胎、兄弟姐妹、十岁孩子和 3D 打印面具骗过。统计型 2D 算法在 5000 张名人脸上做到 99.6%（Google FaceNet），到了 100 万张脸的 MegaFace 基准上骤降到 75%，当年世界最好的腾讯优图实验室也只有 83.29%——Fry 折算成现实：在百万级数据库里找某个罪犯，最好情况下每六次就有一次找不到人。数据库规模还在扩大：英国警方存有 1900 万张脸，FBI 4.11 亿张——据说一半美国成年人都在里面——中国更是数以十亿计。Fry 的结论是：识别准确率随库里脸的数量而崩塌，而且这种算法可以被一副印着干扰花纹的眼镜骗过，让人觉得你像米拉·乔沃维奇。

权衡

多伦多赌场用面部识别把自愿戒赌的人挡在门外；零售店用 FaceFirst 在疑似惯偷进店时给保安发提示，但带来隐私、误入黑名单如何申诉、错认风险等问题，Walmart 因为投入产出不合算取消了试点。2009 年美国国家科学院报告承认，除 DNA 外没有哪种法医技术能"证明证据与特定个人或来源之间的联系"，但这不妨碍它们成为有用的警务工具，只要别过分依赖。

正面案例同样存在。2015 年曼哈顿锤击案里，面部识别从 Instagram 上一张滴血锤子的照片认出 David Baril，判刑 22 年；2014 年逃犯 Neil Stammer 的 FBI 通缉照与尼泊尔护照照片匹配落网。Fry 用 2017 年伦敦桥恐袭的 Youssef Zaghba 反问读者：他本可被自动识别、在入境前拦住，但为了这个代价，愿意接受多少个 Steve Talley？NYPD 2015 年的数字是识别出 1700 名嫌疑人、促成 900 起逮捕、错配 5 人——Fry 问，这个比例可接受吗？她引用 MIT 教授 Gary Marx 的话收束："苏联在其极权控制最糟糕的时候街头犯罪少得惊人，可是天哪，代价是什么？"她认为犯罪的例子把算法监管的紧迫性推到了顶点，也逼社会先回答：我们想要的成功到底是什么，是把犯罪压到最低，还是优先保护无辜者的自由。

Art：算法能否创造艺术

流行度的偶然性

Fry 从 Justin Timberlake 的平行宇宙开场：2006 年 Salganik、Dodds 和 Watts 的 Music Lab 实验造出八个平行的音乐网站，每个都放同一批 48 首无名乐队歌曲，14,341 名访客可以试听、评分、下载，并看到自己所在"世界"里的下载数；另设一个隐藏下载数的对照组。结果所有世界都认同一些歌是垃圾、一些是赢家，但中间的歌曲结果千差万别——密尔沃基朋克乐队 52Metro 的《Lockdown》在一个世界里登顶，在另一个世界里排第 40。受欢迎可以自我滚雪球：下载多引来更多下载。第二场实验把排行榜倒过来，新访客看到榜尾的歌在最上面，整体下载量立刻下滑，而最好的歌最终会恢复地位。结论是：质量存在且不等于流行度，但成功在相当程度上是运气。

社会证明是机制：信息不足时人模仿他人，剧院会安排人鼓掌就是这个道理。2007 年 Sorensen 的研究利用《纽约时报》畅销榜的编撰疏漏发现，上榜本身让销量平均增加 13-14%，首作作者增加 57%。Fry 还讲了 1990 年代英国制作人打赌谁能把最烂的歌送上榜，结果"Vanilla"组合靠杂志和《Top of the Pops》把《No way no way, mah na mah na》推到第 14 名——证明烂歌也能上榜，也证明社会证明不是唯一因素。

预测票房与衡量质量

电影投资的教训是 John Carter：迪士尼投入 3.5 亿美元，影片亏损 2 亿美元，制片厂负责人辞职。1978 年 Jack Valenti 说"没人能告诉你一部电影在市场上会怎样"，1983 年 William Goldman 说"没人知道任何事"。算法试图打破这句话：Sreenivasan 2013 年用 IMDb 的情节标签给每部电影算"新颖度"（0 到 1），发现票房随新颖度先升后跌，超过 0.8 就断崖；Wikipedia 编辑量研究（312 部电影，其中 70 部预测准确率达 70% 以上，六部高票房电影准确率达 99%）需要上映前一个月的数据，对投资人没用；2005 年用神经网络把电影分九档的著名研究平均只猜对 36.9%，最准的"2 亿美元以上"档也只有 47.3%，被它预测为热门的有约 10% 最终赚不到 2000 万美元。Fry 的总结是：在没有早期观众反应数据之前，流行度基本不可预测，Goldman 是对的。

衡量"质量"更难。莱布尼茨相信存在可测的美的本质，休谟认为美在观者眼中（Fry 用 Warhol 举例），康德居中。2013 年班克西在纽约中央公园匿名摆摊卖 60 美元一张的原作，全天只进账 420 美元；一年后同一张画在伦敦拍卖行卖出 6.8 万英镑。2007 年《华盛顿邮报》让约书亚·贝尔带着价值 350 万美元的斯特拉迪瓦里在地铁站演奏 43 分钟，只有七个人驻足，琴盒里收了 32.17 美元。进化生物学家 Armand Leroi 对流行音乐演化的分析显示，人会厌倦旧风格——1980 年代末合成器让排行榜多样性崩塌，随后的嘻哈救了场，但在他看来"恰好是嘻哈"而已。Fry 的结论是：只要语境参与审美判断，就不存在放之四海而皆准的质量测量；用数字抓艺术本质"像用手抓烟"。剩下来可量化的只有一件事：与过去的相似度。

相似度恰好是推荐引擎要的东西。Netflix 和 Spotify 不能按流行度推（不然满屏贾斯汀·比伯和《小猪佩奇》），也不能按评论推（不然首页全是艺术片），只能按"和你喜欢过的东西相似"来推。Fry 说推荐算法不追求完美，它们只负责让你不至于失望——偶尔给你一个惊喜，就像通灵师的冷读术，不必每次都准。

EMI 与创造力之争

1997 年俄勒冈大学的一场音乐会上，钢琴家演奏了三首曲子：巴赫本人、教授 Steve Larson 仿巴赫风格所作、David Cope 的"音乐智能实验"（EMI）算法所作。多数听众把 Larson 的作品当成电脑写的，把电脑写的当成真巴赫。Larson 感到被冒犯，认知科学家 Douglas Hofstadter（策划了这场音乐会，并在 1979 年的《哥德尔、艾舍尔、巴赫》中断言程序写不出美的东西）事后承认自己"困惑而苦恼"："让我彻底崩溃的是，也许音乐远没有我想象的那么深。"

Cope 向 Fry 解释了算法原理：他把巴赫每首作品的每个音符转成五个数字（起始时间、时值、音高、响度、乐器），手打了 371 首众赞歌和数万音符；然后记录每个和弦后面巴赫会让音乐走到哪里，存进一本"词典"；最后随便给个初始和弦，算法从词典里随机挑后续。Fry 说这很像手机的联想输入。Cope 自己的说法是"巴赫创造了所有和弦……把帕玛森奶酪磨碎再拼回去，拼出来的还是帕玛森奶酪"。更近的方法包括遗传算法——把音符当音乐的 DNA，用"美"的特征反复育种。

Fry 承认这些机器能做出漂亮的、有时几乎原创的作品（英国创业公司 Jukebox 和 AI Music 已经在卖这种背景音乐），但她认为那只是拙劣的模仿者。Leroi 对 Pharrell Williams 的《Happy》和阿黛尔评价刻薄——"如果这就是水平，那不太难"——Mark Twain 也说过没有新主意这回事。Cope 定义创造力为"在两个通常看不出关联的事物之间找到联系"，Fry 认为按这个定义机器确实有创造力，但那是"很微弱的形式"：音乐可以漂亮，却不深刻。她最终站在 Tolstoy 一边："艺术不是手艺，它是艺术家所经历感受的传递。"她引 Hofstadter 的话说，能写出那样音乐的"程序"必须自己走过人生的迷宫，理解寒夜的风、对一只珍爱之手的渴望、远方小城的不可及、人类死亡后的心碎与再生。她承认自己可能错——人也会对并不爱自己的物体产生情感联结，比如童年泰迪熊——但对她自己而言，真正的艺术无法靠偶然生成。在这本书里，这是她为算法划下的边界："数据与统计能告诉我的所有惊人事物里，做一个人是什么感觉，不在其中。"

Conclusion：人机共处

Rahinah Ibrahim 是斯坦福的博士生，四个孩子的母亲。2005 年 1 月她在旧金山机场被扣留：她的名字在联邦禁飞名单上。原因是 FBI 探员在表格上勾错了框——把恐怖组织 Jemaah Islamiyah 和马来西亚的海外留学组织 Jemaah Islam 弄混了。那次误扣后她的签证被吊销，用了近十年诉讼才洗清名字，期间被禁止踏上美国国土。Fry 用这个案例说明：一个人类错误一旦进入自动化系统，就获得了一种几乎无法申诉的权威。

Fry 在结论里收拢全书的害处清单：爱达荷预算工具任意削减残疾补助；基于历史数据的再犯算法更容易给黑人打高分；肾损伤检测系统让百万人未经同意交出最私密的数据；超市算法夺走少女向父亲坦白怀孕的机会；战略对象名单本意帮助枪支暴力的受害者，却被警察当作嫌疑人名单。她同时承认自己找不出一个"完全公平"的算法——自动飞行和肿瘤筛查算法底下也有问题——但没有人参与的公平系统同样不存在。她的主张是接受"完美不存在"：算法会犯错、会不公平，这不该妨碍我们尽量让它更准确、更少偏见，但承认这一点也许能削弱算法身上的权威光环。

她建议把设计目标定在"可申诉性"上，放弃"不可能的完美公平"这个目标：把自动系统做得像实施它一样容易被挑战；让算法呈现备选答案与置信度——Watson 在《危险边缘》里就是这么做的，如果再犯分数也附带置信度，法官可能更容易质疑它；如果人脸识别给出多个候选而不是锁定一个，错认或许会减少。乳腺筛查的合作模式是她反复引用的正面范例：算法筛出可疑区域，病理医生复核，算法不会累，医生很少误诊。

她回到开头的国际象棋。Kasparov 输给深蓝后反而倡导"半人马国际象棋"：人与算法组队对战另一组人马，算法算每一步的后果、降低昏招概率，人掌握大局。Kasparov 的原话是："有电脑协助时，我们可以专注于战略规划，而不是花那么多时间计算。在这些条件下，人类的创造力甚至更为重要。"Fry 把这种合作称为她所希望的未来，并给出她的最终立场："在算法的时代，人类从未如此重要。"

原书的方法、证据等级与可迁移问题

Fry 的写作方式是案例叙事与论文数据交替，并大量依赖个人采访。读者需要注意证据等级并不一致：Music Lab、纽约保释研究、CAMELYON16、修女研究等是同行评审论文；另一些结论她自己在书中就标了限制——PredPol 的试验"严格说无法完全确定"与商业软件是同一个东西，法官"午休效应"尚未被复制且效应大小有争议，剑桥分析的广告效果无法从选举结果中分离因果。她把 ProPublica 对 COMPAS 的发现呈现为新闻机构的分析；这属于调查报道的证据，和经过同行评审的论文证据等级不同。

书中还包含了大量反例，它们本身就是可迁移的知识：狼与哈士奇网络靠雪判断、ALVINN 靠草判断——说明机器学习学到的东西可能与人类理解的"特征"完全不同；一像素攻击、橙子骗过方向盘传感器、干扰图案眼镜骗过人脸识别——说明神经网络的鲁棒性有限；Watson 的失败、NHS 数据断裂、PredPol 的反馈回路——说明算法效果高度依赖数据质量、数据联通与使用情境。

Fry 反复使用的几个问题可以作为阅读任何"算法新闻"时的检查单：这个算法的真实能力与它的宣传是否匹配（Magic Test 是把"机器学习""人工智能""神经网络"替换成"魔法"，看句子还成不成立）；它服务的对象是谁、谁从中获利；它的比较对象是现实里存在的替代方案，还是想象中的完美系统；它有没有被设计成可以被质疑和申诉。这些问题的答案，决定了一个算法是否配得上它被授予的权力。