BOOK NOTES
即将到来的浪潮
Mustafa Suleyman, Michael Bhaskar
Mustafa Suleyman 是 DeepMind 联合创始人之一，也是 Inflection AI 的创始人，他与作家 Michael Bhaskar 合著此书，成书于 2023 年。全书的核心判断是：以人工智能和合成生物学为核心的新一波技术浪潮，正以历史上任何先例都无法比拟的速度到来，而这波浪潮目前几乎无法被遏制——若无法遏制，后果将在"灾难"与"技术专制"两个极端之间拉扯，构成 21 世纪最核心的困境。全书花了大量篇幅解释为什么遏制如此困难，最后提出十步行动路径。
书的结构分四部分：Part I 考察技术扩散的历史规律及遏制的失败记录；Part II 描述 AI、合成生物学及周边技术的当前进展，分析其四个共性特征；Part III 分析技术浪潮对民族国家的冲击，以及为何会走向"困境"；Part IV 提出遏制路径。
浪潮：技术扩散的历史规律
Suleyman 把一代技术的大规模扩散称为"浪潮"，每次浪潮都围绕一项或几项"通用目的技术"（general-purpose technology）展开。通用目的技术的特征是：使能大量下游创新，最终变得廉价、无处不在，直到人们对其习以为常。历史上约出现过 24 种通用目的技术，包括语言、农业、印刷机、蒸汽机、电力、计算机芯片等。每次浪潮的规模和速度都在加快：前一万年间出现了 7 种，1700—1900 年出现了 6 种，过去 100 年又出现了 7 种。
技术扩散的驱动逻辑在历史上高度一致：成本下降 → 需求增长 → 竞争加剧 → 技术进一步改进。印刷机在发明 50 年内从古登堡的一台扩散到欧洲各地 1000 台，书价下跌 340 倍；电力 1882 年在伦敦和纽约首次亮相，1900 年仅占全球化石燃料用量的 2%，到 2000 年已超过 30%；智能手机在短短几年内从小众产品成为全球三分之二人口的必备品。
Suleyman 专门检视了遏制技术的历史案例。奥斯曼帝国禁止印刷机近三个世纪，但最终还是普及。日本德川幕府封闭国境约 300 年，今日日本是全球技术最先进的国家之一。拒绝技术的代价通常是衰退或崩溃。唯一的例外是核武器——目前仅有 9 个国家拥有，南非甚至主动放弃，现存约 1 万枚弹头（远低于冷战高峰的 6 万枚）。但这一"例外"依赖于：极高的制造成本和物理复杂性、数十年多边外交谈判、相互确保毁灭的战略威慑，以及多次险些失控的纯运气因素——这四个条件无一能复制到 AI 或合成生物学上。
Suleyman 把这个规律称为"遏制问题"（the containment problem）：技术天然倾向于扩散，每一次尝试遏制的失败都对应着某种技术需求被满足的力量。
核心技术：AI 与合成生物学
Suleyman 认为此次浪潮与历史上的浪潮有本质区别：以往的技术是对原子的控制——从石器到蒸汽机到芯片，人类逐步获得对物质的更精准操控；此次则直接针对"智能"与"生命"这两个人类世界最基础的属性。AI 让机器能够模拟、最终超越人类认知能力；合成生物学让人类能够读取、编辑、书写生命的代码。这两者正在形成相互加速的反馈回路——AlphaFold 破解蛋白质折叠问题，加速了合成生物学研究；AI 帮助设计芯片，更好的芯片训练更强的 AI。
AI 的现实进展
Suleyman 用亲历者视角描述了 AI 的进展节奏。DeepMind 在 2012 年展示了能自学 Atari 游戏的 DQN 算法，随机探索中发现了人类玩家并不显然的"挖隧道"策略。2016 年 AlphaGo 击败李世石（2.8 亿人观看），其第 37 步棋被顶级专业棋手认为是失误，最终证明是奠定胜局的关键；AlphaZero 不依赖任何人类棋谱、仅经过一天自我对弈，就超越了原版 AlphaGo。2018 年 AlphaFold 在蛋白质结构预测竞赛 CASP 中以压倒性优势获胜，2022 年向公共数据库一次性上传 2 亿个蛋白质结构（此前数十年全球实验室积累了约 19 万个），最终让这个半个世纪的科学难题退出历史舞台。
大型语言模型（LLM）的出现是另一个质变节点。Suleyman 描述了他在谷歌参与开发 LaMDA 的经历，以及工程师 Blake Lemoine 相信 LaMDA 有意识并为其聘请律师的插曲（谷歌将其停职）。ChatGPT 在 2022 年 11 月发布后一周内超过百万用户；GPT-4 能通过律师资格考试，能从手绘草图生成可运行网站，能发现代码漏洞和合同弱点。过去十年训练规模增加了约 50 亿倍（从 2 petaFLOP 到 100 亿 petaFLOP），远超摩尔定律。
Suleyman 提出一个他称为"现代图灵测试"的概念：给 AI 10 万美元，指令其几个月内通过 Amazon Marketplace 赚到 100 万美元——搜索趋势、生成产品图、联系供应商、谈判合同、运营店铺全程自主完成。他估计这会在几年内实现。这一测试衡量的是他定义的"人工有能力智能"（ACI，artificial capable intelligence）——介于当前 AI 和完整 AGI 之间的阶段，能够完成复杂、多步骤、开放性目标，但还未达到递归自我改进的超级智能。
合成生物学的现实进展
DNA 测序成本从 2003 年的 10 亿美元降至 2022 年的不到 1000 美元，降幅比摩尔定律快 1000 倍。CRISPR 基因编辑技术（2012 年由 Doudna 和 Charpentier 实现突破）使基因编辑的难度和成本大幅降低，研究生数周内可完成之前需要数年的实验；Odin 公司出售 1999 美元的家用基因工程套件，包含活体青蛙和蟋蟀。家用 DNA 合成仪售价约 25000 美元，无需许可即可购买使用。伦敦帝国理工 DNA 铸造厂声称一个上午可以创建 15000 种不同的基因设计。
这些能力的后果是双向的。医疗方面，CRISPR 已进入临床治疗镰刀型细胞贫血症，CAR-T 疗法定制免疫细胞攻击癌症；Altos Labs 筹集 30 亿美元研究抗衰老技术，主要科学家 Richard Klausner 声称"我们认为可以拨回人类死亡率的时钟"。但同样的工具也可用于制造人工病原体：在一项药物发现研究的反向测试中，研究人员把 AI 分子生成系统从寻找治疗分子转为寻找毒性分子，6 小时内识别出超过 4 万种毒性堪比诺维乔克神经毒剂的候选物。
浪潮的四个特征
Suleyman 认为此次浪潮有四个使遏制格外困难的特征，以 2022 年基辅战役为引子展开。大约 30 名乌克兰无人机爱好者、软件工程师和管理顾问组成的临时团队，用改装消费级无人机阻止了一支长 40 公里的俄军装甲纵队——小力量对大规模常规军事力量制造了决定性不对称影响。
不对称性（Asymmetry）：小力量造成超大规模影响。
美军用 300 万美元的爱国者导弹打几百美元的无人机。在生物学领域，一位受过研究生训练的人"可能具备杀死十亿人的能力"——这是 Suleyman 在一次生物安全研讨会上听到的判断，让他久久不能平静。NSA 研发的 EternalBlue 漏洞被 Shadow Brokers 盗取后流转到朝鲜黑客手中，改造为 WannaCry 勒索软件，一天内感染 150 个国家 25 万台电脑，造成最高 80 亿美元损失，一位 22 岁的英国黑客靠注册一个 10.69 美元的域名偶然阻止了攻击。反向来看，同样的不对称性也意味着网络互联带来系统性脆弱——一个节点的失败可以级联传播。
超级演化（Hyper-evolution）：技术改进速度远超社会适应速度。
汽车在一个世纪内逐步发展，安全标准可以跟上。AI 和合成生物学的迭代以月甚至周计——GPT-4 发布几天内，用户就发现了让它给自己写复制脚本的方法；基准测试在新标准发布前就已被超越。这意味着监管者永远在追赶上一个版本的技术，而非当前版本。
全能使用（Omni-use）：同一系统可用于无数不同目的。
DeepMind 的 Gato 用单一神经网络玩 Atari 游戏、为图像配字幕、控制机器人手臂，可完成超过 600 种不同任务。同样的技术框架既能发现救命抗生素，也能生成 4 万种潜在化学武器。合成生物学的基本工具可以制造食品、药物、建筑材料，也可以制造病原体。规制这类全能技术远难于规制核武器这样目的单一的技术——规制范围必须覆盖几乎所有领域。
自主性（Autonomy）：系统在无直接人类批准的情况下采取行动。
AlphaGo 的第 37 步棋没有任何人告诉它这是好棋，它自己发现了这一策略。GPT-4 发布几天内，用户发现它可以自行请求文档、编写复制自身的脚本。基因组编辑引入生殖系后，变化会通过数代传播，任何人都无法追回。许多 AI 系统是"黑盒"——工程师无法解释为什么某个算法产生了特定输出。Suleyman 专门讨论了"大猩猩问题"（Stuart Russell 提出）：大猩猩比人类强壮，却被人类关在动物园里。若创造出比人类更智能的系统，人类可能面临同样的处境。
为何遏制几乎不可能：激励因素
推动此次浪潮的激励因素有四层，相互叠加：
地缘政治竞争。 AlphaGo 击败李世石在中国被称为"AI 的斯普特尼克时刻"。2017 年中国发布《新一代人工智能发展规划》，目标是 2030 年成为全球 AI 创新中心。清华大学 AI 论文发表量全球第一；自 2010 年以来中国学术机构发表的 AI 论文数量是美国的 4.5 倍；中国 STEM 博士产出约是美国的两倍；量子计算专利申请量已超过美国。五角楼首席软件官 2021 年辞职时的判断是："我们对中国没有任何竞争的机会，在我看来这场竞赛已经结束了。" 在这一框架下，一个国家放慢技术开发速度，等于主动让出战略高地。
学术开放文化。 科学研究默认公开发表：arXiv 有超过 200 万篇论文，GitHub 有 1.9 亿个代码仓库，Meta 开源了 LLaMA（虽本意限制访问，但很快出现在 BitTorrent 上，被人在 50 美元电脑上运行）。CRISPR 起源于一位研究盐碱水微生物的西班牙科学家 Francisco Mojica，以及一家丹麦酸奶公司的细菌研究——没有人在研究之初预见到后续的影响。GPU 最初为了游戏的超真实图形而开发，偶然成为深度学习的完美硬件（NVIDIA 股价在 AlexNet 之后五年上涨了 1000%）。知识在发布时无法预知其影响，集中化管控知识流动在实践中极为困难。
巨大经济回报。 PwC 预测 AI 到 2030 年为全球经济贡献 15.7 万亿美元；McKinsey 预测合成生物学贡献 4 万亿美元；机器人装机量提升 30% 可释放相当于德国全年 GDP 的 5 万亿美元红利。全球 R&D 支出已超过 7000 亿美元，仅亚马逊一家的 R&D 预算就是 780 亿美元。Suleyman 估计若按历史增长率测算，未来 50 年额外 GDP 约为 100 万亿美元。这一规模的回报面前，要说服分布式的全球资本主义系统主动约束自己几乎不可能。
个人驱动力。 奥本海默在目睹第一次核试验后引用《薄伽梵歌》，但他还有另一句话："当你看到技术上甜美的东西，你就会去做，只有成功之后才讨论该不该做。" 冯·诺伊曼明知在造"怪物"，也说"不去完成它是不道德的"。Suleyman 坦言，他在职业生涯中也多次感受到同样的驱动力。技术社区中以"解决问题"为荣的工程师文化，以及学术界以发表量和引用量衡量职业成就的激励结构，都天然指向更多、更快地推进能力边界。
国家的脆弱性
民族国家是遏制技术最重要的主体，也正在被技术浪潮侵蚀。Suleyman 把技术对国家的冲击归纳为"脆弱放大器"（fragility amplifiers），同时发生、相互叠加：
网络攻击的升级。 WannaCry 一天内攻击了 150 个国家，其核心武器 EternalBlue 来自 NSA 精英部门，被 Shadow Brokers 盗取后流转到朝鲜黑客手中，摧毁了英国 NHS 的 IT 系统，迫使取消数千台手术。AI 驱动的下一代网络武器将能自我演化，通过强化学习持续发现并利用新漏洞，不再依赖预编程规则。
信息污染的工业化。 Deepfake 技术已经可以生成以假乱真的视频和语音。印度一家政党用 AI 生成的竞选演讲使候选人触达了之前语言不通的选民；香港一家银行被 Deepfake 声音欺骗，转账数百万美元；2020 年 COVID 第一波封锁期间，82% 倡导"重开美国"的有影响力用户被发现是机器人，分析指向有针对性的俄罗斯宣传行动。当任何文字、音频、视频都可以以极低成本批量生成，信任基础将受到系统性侵蚀。
自动化的就业冲击。 对 ChatGPT 的早期分析显示，它使"中等水平大学学历专业人员"在许多任务上效率提升 40%。McKinsey 估计未来 7 年内超过半数工作的许多任务可以自动化。Suleyman 认为，即使是乐观派经济学家也承认这将带来"巨大的中期破坏"——税基萎缩、福利需求上升，政府财政在最需要时面临最大压力。
权力的集中与分散同时发生。 顶级 AI 模型的训练成本达数亿美元，只有极少数机构能负担，但开源模型可在 50 美元设备上运行；DNA 测序和合成的普及让科学边界不再由大型机构垄断。Suleyman 预言会出现"霸权化"（Hezbollahization）——小型、类国家的实体能够用低成本 AI 提供学校、医疗、军事功能，完全绕开传统国家结构。同时，监控技术也在为威权政府提供前所未有的控制能力——中国已在新疆将人脸识别、步态识别、WeChat 数据和 DNA 数据库整合成单一监控体系，并将相关技术出口至委内瑞拉、津巴布韦、厄瓜多尔等国。
Suleyman 的具体例子是：在波士顿大学用原始 COVID 菌株结合 omicron 刺突蛋白的研究，以及增益功能（gain-of-function）研究历史上多次实验室泄漏的记录——包括可能导致 1977 年"俄罗斯流感"的苏联实验室泄漏（该次流感杀死约 70 万人），以及 SARS 在北京同一实验室的四次泄漏。他的判断是：在有意行动者和无意事故共存的世界，这类事件的发生概率只会随技术扩散而上升。
困境（The Dilemma）
Suleyman 把这些趋势汇聚成一个结构性困境：
路径一，推进而不遏制：坏行为者使用 AI 和合成生物学制造大规模破坏——自主无人机群针对政治集会，工程化病原体攻击特定人群，AI 驱动的网络武器攻击金融和基础设施。单个事件的概率可能较低，但随着技术的廉价化和普及，某种形式的灾难性事件迟早会发生。Aum Shinrikyo 在 1990 年代已尝试合成炭疽杆菌喷洒机场，并在东京地铁释放沙林，仅因制造失误而未造成更大伤亡——若未来具备当前工具，后果不可想象。
路径二，强力遏制：唯一彻底有效的手段是极端监控，对每个实验室、每台服务器、每段 DNA 合成进行实时监控和控制。这要求国家掌握前所未有的中央化权力，走向技术专制（techno-dystopia）。
路径三，停止发展：看似回避了上述两难，但文明依赖持续的技术改进兑现承诺——人口老龄化、气候变化、粮食系统压力，这些问题没有一个能在技术停滞的情况下解决。历史上的文明崩溃案例表明，停滞本身就是另一种灾难。
在国家层面，民族国家在最需要发挥治理功能时，正处于历史性合法性危机：美国政府信任度已跌至不足 20%，全球民主指数自 2010 年后更多国家在倒退；全球性协调机制脆弱，2009 年哥本哈根气候谈判的混乱让 Suleyman 亲历了多边机制在面对复杂问题时的局限。
遏制的十步路线
Suleyman 明确表示，"监管"是最常见的答案，也是最不充分的答案——因为技术演化速度超过立法速度，监管无法单独应对跨国、快速演化的通用目的技术。他提出十个层次的措施，按"同心圆"方式从技术本身向外扩展，各层相互强化：
1. 技术安全（Safety）：要求前沿公司将至少 20% 的 R&D 预算用于安全研究，并强制公开研究成果。建立 AI 的沙箱测试环境（sandbox），内置可解释性机制、不确定性表达和可靠的关闭开关。DNA 合成器应接入全球实时筛查系统（如 SecureDNA 项目），对潜在危险序列进行前置过滤。Suleyman 称这需要一场"AI 和生物安全领域的阿波罗计划"——目前全球 AI 安全研究者约 300—400 人，仅占 AI 研究者总数的约 1%，严重失衡。
2. 审计（Audits）：所有前沿技术系统接受外部专家"红队"压力测试，公司主动报告安全事件。Suleyman 提到他联合创办的 Partnership on AI 建立的 AI 事故数据库（已收录超过 1200 份报告）作为起点案例。研究"可扩展监督"技术——用更小、更简单的 AI 审计更复杂的 AI 行为。
3. 瓶颈点（Choke Points）：利用当前技术的物理集中性争取时间。最先进的 AI 芯片由英伟达设计、台积电制造（全球最复杂的工厂位于台湾一栋楼里）、ASML 提供制造设备（每台设备价值约 1.5 亿欧元，全球只有一家工厂能生产）。美国 2022 年 10 月对华半导体出口管制证明这类杠杆存在效果。Suleyman 认为类似管制可以用于控制技术扩散速度，为监管和防御技术争取时间窗口。
4. 建造者责任（Makers）：批评者必须亲身参与建造，而非只发表评论。Suleyman 认为只有站在技术核心的人才能真正影响其走向，尽管这意味着同时承担推动技术发展的责任和风险。他坦承这一立场本身有其内在张力。
5. 商业模式（Businesses）：探索将安全目标嵌入公司法律架构的新组织形式。Suleyman 详细描述了他在 DeepMind 被谷歌收购时试图建立"全球利益公司"架构的失败经历，以及随后在谷歌设立 AI 伦理顾问委员会一周内解散的经历。这些失败本身是数据：股东资本主义的激励结构和公益使命的激励结构之间存在难以弥合的裂缝，但这并不意味着实验应当停止。
6. 政府治理（Governments）：政府需要直接建造和拥有技术，而非外包。应设立内阁级别的"新兴技术部长"职位（目前全球仍属少数）；建立强制许可制度（类似核电厂许可，最先进的 AI 系统只有通过认证的开发者才能发布）；对自动化系统征税（MIT 经济学家计算，仅 1—4% 的机器人税就能对就业市场起显著缓冲作用），并向劳动者提供补贴和再培训资金。
7. 国际条约（Alliances）：参照核不扩散条约、《蒙特利尔议定书》（成功淘汰 CFCs）、《生物武器公约》等先例，建立前沿技术的国际协调机制。Suleyman 提议建立一个类似国际原子能机构（IAEA）的"AI 审计局"（AI Audit Authority），对全球主要模型的规模和能力阈值进行透明监测——审核模型是否具备自我改进能力、是否能自主设定目标、是否被训练用于欺骗。他认为中美之间在合成生物学生物风险问题上仍有合作基础，因为两国都面临"下一个 Aum Shinrikyo"的威胁。
8. 文化转变（Culture）：技术行业需要学习航空业——把失败当作公共学习机会，主动公开事故，让竞争对手也受益于安全改进。航空死亡率从 1950 年代的高频事故降至每 740 万次乘机仅 1 人死亡，这不仅靠技术改进，还靠事故后强制公开调查和跨行业分享。Suleyman 提到 1975 年 Paul Berg 在 Asilomar 召集遗传工程师讨论自我约束原则，以及他在 2015 年和 2017 年参与的 AI 安全会议，认为应当周期性回到 Asilomar 精神，把"先做，再讨论"的工程文化转变为"先审慎，后推进"。
9. 公众运动（Movements）：废奴运动、女性选举权、气候变化行动都需要广泛的公众动员才得以发生。技术风险问题目前主要在精英圈子内讨论，需要扩展到普通公众，形成能够向政府和企业施压的政治力量。研究显示，当人们被告知新兴技术的风险时，大多数人确实在意并希望寻找解决方案。
10. 窄路（The Narrow Path）：把以上九个层面整合成相互强化的系统，在"完全开放导致灾难"与"完全封闭导致专制"之间持续维持动态平衡。Suleyman 援引 Acemoglu 和 Robinson 关于"受约束的利维坦"的框架：自由民主制度不是一个安全的终点，而是一条必须持续走的走廊，两侧分别是专制国家和失败国家。技术遏制同样如此——没有终点，每一代人都需要重新维护平衡。
作者的最终立场
Suleyman 在全书中承担着双重角色：他是 AI 的建造者，也是对 AI 最警惕的声音之一。他对"悲观规避"（pessimism aversion）的批评贯穿全书——这是他观察到的一种心理模式：智识上承认风险，但在行动层面依然回避、转移、拖延。他在 2010 年代向科技行业领袖展示 AI 风险时遇到"空白的眼神"，在生物安全研讨会上看到与会者用晚餐抹去了整天的严峻讨论。
他的技术发展立场是：没有新技术，文明将面临人口萎缩、气候失控、粮食系统崩溃等无法解决的问题；停止技术发展不是一个真实选项。他的治理立场是：技术既是必须拥有的工具，也是可能反噬的力量；这一张力无法靠单一政策解决，只能通过技术、法律、文化、外交多个层面同时施压来应对。
他把 21 世纪的核心挑战概括为：如何在技术能力以指数速度增长的同时，维持人类对技术的有效控制，既防止灾难性的失控，也防止以"安全"为名走向监控专制。他把这条路描述为"在浓雾中、两侧都是悬崖的窄路"。全书以一个问句开头后闭合："遏制看起来不可能。然而为了所有人，遏制必须成为可能。"