《Science Fictions》由伦敦国王学院社会、遗传与发育精神病学中心讲师 Stuart Ritchie 写作,2020 年由 Metropolitan Books 出版。Ritchie 是心理学研究者,早年与 Richard Wiseman、Chris French 一起尝试复制康奈尔大学教授 Daryl Bem 的超感知觉实验,结果一无所获,论文又被发表原研究的期刊以"不刊登重复研究"为由退回。这次经历成为全书的起点。
这本书的内容属于元科学(meta-science),即把科学研究本身当作研究对象。Ritchie 把科学实践的失败归纳为四类:欺诈、偏见、疏忽和夸大。全书分为三部分:前两章说明科学流程应当如何运转、以及复制性危机暴露出的普遍问题;第二部分的四章逐一展开四类病因;第三部分的两章分析制造这些问题的制度激励,并提出修复方案。
作者在序言中交代了立场:本书批评的是科学当前的实际操作,科学方法本身不在批评范围之内。书中大量案例来自心理学,也覆盖医学、经济学、生物学、遗传学、物理学等学科。绝大多数案例附有具体论文、调查报告或新闻来源,作者在尾注中逐一标注。
序言:一次被拒的复制实验与一桩欺诈
Daryl Bem 的论文发表在《人格与社会心理学杂志》上,报告了上千名大学生参与的实验室实验,声称找到超感知觉(预知)的证据。其中一项实验让被试在电脑屏幕上二选一,找出藏在窗帘后面的图片;当其中一张是色情图片时,被试选中的比例达到 53.1%,略高于随机的 49.8%,被论文判定为"统计显著"。另一项实验先让被试记单词,再随机挑二十个词重新展示,结果显示被试更容易记住这些"将要再次看到"的词。Bem 把这些结果解释为一种无意识的、进化而来的通感能力。
Ritchie 联合赫特福德大学的 Richard Wiseman 和伦敦大学金史密斯学院的 Chris French,在各自学校把词表实验重复了三遍,结果什么也没找到。他们把复制论文投给发表原研究的期刊,编辑几天内就退回,理由是这家期刊的政策是永不刊登重复研究。Bem 本人后来接受采访时承认,他收集数据"是为了论证我的观点","我从来不真正担心这东西能不能复制"。他的研究还上过《科尔伯特报告》脱口秀,主持人造出了"时空穿越的色情片"这个说法。
同一年爆出的是 Diederik Stapel 的欺诈案。Stapel 是社会心理学家,在荷兰蒂尔堡大学任教,2011 年在《科学》杂志发表论文"应对混乱",声称肮脏杂乱的环境会让人表现出更多偏见和种族刻板印象。这篇论文和他几十篇其他论文上了全球头条。同事注意到他的数据过于完美,而且他不让学生代劳数据收集工作,最终他向调查方承认,自己深夜独自坐在办公室或厨房桌前,把虚构的结果直接敲进电子表格。调查确认后他被解雇,五十八篇研究被撤稿。
两个案例的共同点在于:期刊在发表惊人结论时没有要求验证结果能否复制,Ritchie 的复制实验被拒之门外,Stapel 的研究则从未有人尝试复制。作者在序言里强调,科学的社会流程——同行评议、期刊发表——本该充当防止错误结论的防线,而这两桩事件说明这道防线已经失效。
第一部分:理想中的科学流程
第一章描述科学流程本该如何运转。作者引用 John Stuart Mill 的说法:科学家要证明自己的结论,必须说明其他解释为何不成立,因此必须把研究过程展示给同行看。科学期刊的雏形是 1665 年 Henry Oldenburg 创办的《哲学汇刊》,创刊号刊登了 Robert Hooke 用望远镜观察木星大红斑的条目。此后期刊扩展到三万多种,出版方多为 Elsevier、Wiley、Springer Nature 这类商业机构。
论文的通行结构是摘要、引言、方法、结果、讨论。投稿后由编辑先做"桌面拒稿"(《科学》的接收率低于 7%),通过者再送两三位匿名专家评审。同行评议的历史比人们想象的短:书面评审约在 1831 年开始出现,1936 年爱因斯坦还因《物理评论》把稿件送审而愤然撤稿,直到 1970 年代匿名评审才成为通行做法。
作者介绍了社会学家 Robert Merton 1942 年提出的四项科学规范:普遍主义(科学结论的评判与提出者的身份无关)、无私利性(科学家不为其研究动机、金钱或声誉所左右)、公有性(科学知识应当共享)、有组织的怀疑(任何结论都需经检验后才能接受)。复制传统同样由来已久:Robert Boyle 会反复演示空气泵实验并请见证人签署证词,Karl Popper 则写道,只有能被他人重复的观察才算科学观察。
第一章的结论是:这套理想规范与现实的发表制度相冲突。研究者要竞争经费和声望,就必须说服编辑和审稿人,这种压力放大了人性弱点,使"自我纠正"无法兑现。
复制性危机:问题有多普遍
第二章以 Daniel Kahneman 的畅销书《思考,快与慢》为起点。这本书大力推荐一系列启动效应(priming)研究:2006 年发表在《科学》的"麦克白效应"声称,抄写不道德故事让人更想买肥皂;同年另一篇《科学》论文声称,用屏保上的钞票暗示被试,会让他们把椅子挪得更远、更不愿求助;1996 年 Bargh 的研究声称,被"老年"相关词启动的人离开实验室时走得更慢。Kahneman 写道,对这些研究"不相信不是一个选项"。
这些效应逐一在复制中倒下。2012 年用更大样本和红外光束重新测量步行速度的研究没有复现老年启动效应;麦克白效应和金钱启动效应的复制同样失败。Kahneman 六年后承认,那一章的证据比他写作时以为的弱得多。Amy Cuddy 的"力量姿势"研究(2012 年 TED 演讲累计逾七千三百万人次观看)在 2015 年被复制失败:被试确实报告更有力量感,但睾酮、皮质醇和冒险行为的指标都没有复现。Philip Zimbardo 的斯坦福监狱实验(1971)被 2019 年 Thibault Le Texier 的论文重新审视,论文公布了录音带记录,显示 Zimbardo 曾亲自指导"狱警"如何表现,包括剥夺囚犯上厕所的权利;作者据此称该实验的结果"科学上没有意义"。
随后出现的是大规模合作复制。2015 年《科学》发表了多实验室合作项目的结果:从三本顶级心理学期刊中选取一百项研究进行复制,只有 39% 被判定复制成功。2018 年对《自然》和《科学》上二十一篇社会科学论文的复制成功率为 62%。其他若干项目得到 77%、54%、38% 的数字。多数复制即便成功,也发现原始研究的效应被高估。作者同时列出两点保留:一部分真实效应可能因运气差而复制失败,另一些复制在方法上与原研究有出入。
心理学之外的领域同样出现复制失败:经济学十八项微观研究复制率 61%;功能磁共振成像研究被判定"勉强可复制",一个常用软件包的统计错误可能波及约 10% 的相关论文;演化生物学中俄罗斯狐狸"驯化综合征"被证实被严重夸大;2020 年一项大规模复制发现海洋酸化对鱼类行为的效应不存在;《有机合成》期刊要求编委亲自复制投稿,7.5% 的投稿因复制失败被拒。另一面是复制研究本身极少:经济学中复制类论文占 0.1%,心理学约 1%。
作者区分了"可复制性"和"可再现性"(后者指用同一数据重现结果):宏观经济学六十七项研究只有二十二项能再现,地学三十九项中三十七项至少存在小问题,机器学习"推荐算法"论文十八项中只再现七项。医学方面,Amgen 公司复制五十三项临床前癌症研究,只成功六项(11%);Bayer 的数字约 20%;一项估算显示只有 3.4% 的癌症药物能从临床前研究走到人体使用。后续的"癌症生物学可复制性项目"把计划复制的五十一项研究缩减到十八项,最终报告了十四项:五项明确复制成功、四项部分复制、三项明确失败、两项无法解读。这些研究几乎都缺乏重现实验所需的细节,45% 的原作者被复制者评为"帮助极少或没有帮助"。
作者用 Vinay Prasad 和 Adam Cifu 的"医学逆转"概念来说明医疗领域的后果:既往共识被更高质量的新研究推翻。例子包括:双胞胎分娩中计划剖宫产被 2013 年随机试验证明无益;"避免早期接触花生"的旧建议被 2015 年试验证明方向反了(早期吃花生的高危儿童到五岁时过敏率约 2%,避免组约 14%);心脏骤停后的降温、中风后的"早期下床"、血小板输注等做法都被更大规模的随机试验否定。2019 年一篇综述在三本顶级医学期刊的逾三千篇论文中找出 396 项被推翻的医疗实践。Cochrane 协作组织的系统综述中,45% 的结论是证据不足以判断治疗是否有效。
作者引用两项量化评估:假设一半临床前研究可复制,美国每年约有 280 亿美元花在无法复制的研究上;2016 年《自然》网站问卷中 52% 的受访研究者认为存在"显著的复制危机",另有 38% 认为至少是"轻微危机"(作者注明该问卷没有代表性)。2005 年 John Ioannidis 发表《为什么多数已发表的研究发现是错的》,用数学模型论证单篇论文的结论更可能为假,五年内被引逾八百次,但几乎没有推动实际改革。
第二部分:四类病因
欺诈
第三章从医学欺诈讲起。意大利外科医生 Paolo Macchiarini 在《柳叶刀》发表人工气管移植论文,用患者干细胞"播种"捐献气管或合成气管。他在卡罗林斯卡医学院及其附属医院进行了多例手术,患者接连死亡:第一名患者在论文被接收前七周就死了,第二名术后三个月死亡,俄国患者 Julia Tuulik 术后两年死亡,体重降到 47 公斤。卡罗林斯卡内部医生举报后,先被院方控告侵犯病人隐私,2015 年乌普萨拉大学的独立调查报告认定 Macchiarini 在七篇论文中构成多项学术不端,但医学院随后自行调查并宣布他无罪,《柳叶刀》还刊发社论庆祝。2016 年《名利场》揭露他对女友谎称是教皇的私人医生,瑞典电视纪录片《实验》展示了病人的真实气管影像,医学院多位高层辞职,Macchiarini 最终被解职,论文被撤,2018 年瑞典检方重启两项过失杀人调查。
作者从这一案例引出两个教训:科学依赖信任,而欺诈能利用这种信任;怀疑的对象应当包括机构本身——声誉驱动的机构会包庇明星科学家。随后是其他案例:William Summerlin 1974 年用记号笔给白鼠涂黑冒充皮肤移植成功;1961 年《科学》刊登的弓形虫照片是同一张照片翻转复制;韩国黄禹锡(Woo-Suk Hwang)2004 至 2005 年在《科学》声称克隆人类胚胎并建立干细胞系,实际只有两条细胞系,其余照片被拼接、翻转或伪造,他本人因挪用经费被起诉,获两年缓刑(克隆狗 Snuppy 倒是真的);日本小保方晴子(Haruko Obokata)的 STAP 论文在《自然》发表后被指出 DNA 条带来自另一张图并拼接、图片翻转,论文当年撤回,共同作者笹井芳树(Yoshiki Sasai)在研究所内自缢身亡。
作者引用微生物学家 Elisabeth Bik 的统计:她逐一检查四十本生物学期刊的 20621 篇含 western blot 的论文,发现 3.8% 含问题图片(一本细胞生物学期刊中这一比例达 6.1%),其中约 10% 后来被撤稿;按此推算文献中可能有高达三万五千篇论文需要撤稿。当一位作者被发现有一张伪造图片后,其其他论文也含重复图片的比例接近 40%。
数据欺诈更难制造也更易暴露,因为真实数据总是充满噪声(测量误差和抽样误差)。J. B. S. Haldane 说"人是有秩序的动物",很难模仿自然的混乱。统计学家据此抓住 Lawrence Sanna 和 Dirk Smeesters:两组数据的取值范围或均值过于整齐,论文被撤、两人辞职。Michael LaCour 在《科学》发表的"上门游说改变同性婚姻态度"研究被 Broockman 和 Kalla 识破:他的数据来自旧的 CCAP 调查加随机噪声,随访波次只是同一数据再次加噪,论文被撤,普林斯顿的教职落空。
欺诈的规模有多大?Retraction Watch 数据库收录自 1970 年代以来的一万八千多起撤稿。匿名调查中 1.97% 的科学家承认至少伪造过一次数据,14.1% 说认识伪造数据的人。撤稿榜第一名是麻醉医生藤井善隆(Yoshitaka Fujii),183 篇论文被撤;只有 2% 的科学家制造了 25% 的撤稿。作者讨论了欺诈者的画像与动机:Charles Gross 描述为"在精英机构、快速竞争领域工作的聪明而野心勃勃的年轻人";Peter Medawar 和 David Goodstein 认为多数欺诈者相信自己是在把真理塞进文献,只是跳过了真正的科学方法——物理学家 Jan Hendrik Schön(贝尔实验室,碳基单分子晶体管)和数据被清空"电脑内存不足"的解释被视为这类自我欺骗的例证。
欺诈的后果:调查耗费时间与金钱(肥胖研究者 Eric Poehlman 是美国第一个因科学欺诈入狱者);Stapel 有十名学生的博士论文依赖其伪造数据;被撤稿论文继续被引用(Scott Reuben 的论文五年内被引 274 次,只有约四分之一引用者意识到已撤稿);Joachim Boldt 伪造羟乙基淀粉数据,把他排除后相关荟萃分析结论翻转,患者死亡率升高。
本章最后是 Andrew Wakefield 1998 年在《柳叶刀》发表的 MMR 疫苗与自闭症论文:样本十二名儿童,Brian Deer 的系列调查显示每个孩子的病历都被歪曲,Wakefield 受雇于起诉疫苗厂商的律师并申请过单剂量麻疹疫苗专利,两项利益均未披露。论文 2010 年才被撤稿,Wakefield 被英国医学总会除名。英国 MMR 接种率从接近 95% 的群体免疫水平跌到 80%,麻疹疫情随之回升;作者引用 WHO 估算,2018 年全球逾十四万人死于麻疹及其并发症。他把此案称为同行评议体系最严重的失败之一。
偏见
第四章从 19 世纪美国医生 Samuel Morton 的颅骨测量说起。Morton 用芥菜籽和铅弹填充颅腔,得出欧洲人颅腔更大的结论,为种族等级论提供依据。Stephen Jay Gould 1978 年重析数据,指出样本分组、性别构成、种子法与铅弹法的差异都系统性地偏向白人,称其为"先前偏好的暴政"。2011 年 Jason Lewis 团队用现代方法重测了约一半颅骨,承认 Morton 有测量错误,但认为错误并非 Gould 所说那样系统地偏向某个种族,反而指责 Gould 自己也有偏见;哲学家 Michael Weisberg 认为 Gould 的主要结论仍成立;2018 年新发现的一批 Morton 原始测量数据又削弱了 Gould 的一项关键论据。作者把这场往返争论的教训概括为"看门人也要被看管,揭穿者也要被揭穿"。
随后进入统计偏差。Daniele Fanelli 2010 年统计近 2500 篇论文,各学科报告"阳性"结果的比例最低的是空间科学(70.2%),最高的是心理学/精神病学(91.5%)。如此高的成功率与复制率难以调和。原因之一是发表偏见:科学家按结果决定是否投稿,阴性的"失败"结果被锁进抽屉,编辑和审稿人也偏好有趣的结果。这被称为"文件抽屉问题"。
作者用一章篇幅讲解 p 值的定义:p 值是"在效应并不存在的前提下,得到当前结果或更极端结果的概率",它不等于结果成立的概率,也不衡量效应大小。Ronald Fisher 在 1920 年代提出 0.05 的显著性门槛,这个数字带有任意性(作者用苏格兰天气网站"taps aff"的 17 度标准作类比;CERN 的"5 西格玛"对应 p 约 0.0000003)。把 0.05 当成"真实/不真实"的分界线,会产生"不连续思维"的错觉。
荟萃分析的漏斗图能暴露发表偏见的痕迹:如果小样本、小效应的研究缺失,图形左下角就出现空洞。David Shanks 对"浪漫启动"的荟萃分析显示漏斗图有大块缺失,他随后的大样本复制效应量围绕零。癌症预后标志物文献中 90% 以上报告阳性;四十九项心血管生物标志物荟萃分析中三十六项存在偏阳性的证据。Annie Franco 团队 2014 年用政府调查项目登记簿"打开文件抽屉":已完成的研究中强阳性、混合、阴性各占 41%、37%、22%,而发表出来的比例变成 53%、37%、9%,65% 的阴性研究根本没被写成论文。
p-hacking 是发表偏见的延伸。Brian Wansink 在博客里自述让学生反复分析披萨餐厅数据"直到找出能发表的东西",他发给合著者的邮件明确要求"把那个 p 值弄到 0.05 以下"。事后审计在他四篇论文里找出 150 处错误,最终十八篇论文被撤稿,他从康奈尔辞职。Dana Carney 2016 年公开承认"力量姿势"原研究存在 p-hacking:样本只有四十二人,中途不断加被试、选择性剔除离群点、只报告 p 值最低的分析。匿名调查显示,约 65% 的心理学家承认收集了多个结局却未全部报告,40% 承认先看结果再剔除数据点。多组检验会把假阳性率推高:五次检验至少一次假阳性的概率是 23%,二十次是 64%。"结果已知后提出假设"(HARKing)被比作德州神枪手——先乱开枪,再在弹孔周围画靶。Andrew Gelman 和 Eric Loken 用博尔赫斯的"分岔小径的花园"说明:即便只跑一次分析,未事先规定路径的分析选择同样会过拟合数据。
医疗领域的对应做法是"结局切换":试验登记后更换主要结局。Ben Goldacre 的 COMPare 项目核对五本顶级医学期刊四个月的试验:六十七项中只有九项完整报告了登记时的全部结局,354 个结局在登记与发表之间消失,357 个未经登记的结局凭空出现;麻醉学审计发现 92% 的试验至少切换了一个结局,且切换方向总是朝显著结果走。资金也起作用:药企资助的试验比政府或非营利资助的更可能报阳性(比值 1.27:1)。
作者还讨论了集体层面的偏见:Sharon Begley 2019 年报道阿尔茨海默病"淀粉样蛋白级联假说"的支持者压制异见、用恶意的审稿意见打压质疑论文;格拉斯哥效应论文的作者 Gerry McCartney 主动在利益冲突声明里写明自己是苏格兰社会党成员;心理学领域自由派与保守派的比例约 10:1,José Duarte 等人 2015 年提出这种失衡会削弱同行评议的怀疑功能;"刻板印象威胁"的 2015 年荟萃分析漏斗图显示小型阴性研究缺失。性别方面:动物实验常只用雄性,Rebecca Shansky 引用数据说明抑郁症和创伤后应激障碍在女性中患病率是两倍,但建模的行为测试在雄性身上开发验证;Cordelia Fine 在《柳叶刀》撰文主张"女性主义科学"纠偏,作者对此持保留态度,认为用另一种偏见对冲偏见只会叠加问题。
疏忽
第五章处理无意识的错误。Carmen Reinhart 和 Kenneth Rogoff 2010 年发表《债务时代的增长》,用几十国历史数据得出"债务占 GDP 超过 90% 时经济增长转负"的结论,被各国财政紧缩政策引为依据。2013 年批评者发现他们分析用的 Excel 表格漏掉了澳大利亚、奥地利、比利时、加拿大、丹麦五国的债务——原因是打错字。修正后,90% 门槛以上的平均增长从 −0.1% 变成 +2.2%,"90%"这个数字的魔力随之消失。作者指出,这个案例的教训在于:一个基础性错误能一路传到政客桌上,让人无法知道还有多少类似错误。
荷兰研究者 Michèle Nuijten 开发了"统计拼写检查器"statcheck,扫描 1985 至 2013 年八本心理学期刊的三万多篇论文:近半数含至少一处数值不一致,13% 的错误足以改变结论方向(如把显著翻成不显著)。Nick Brown 和 James Heathers 的 GRIM 检验用均值与样本量的整除关系排查不可能的数字(二十人打分无法得到 3.08 的均值),检查七十一篇论文发现半数含至少一个不可能的数字;用这个方法复查 1959 年 Festinger 与 Carlsmith 的认知失调经典论文,其报告的 3.08 正是这种不可能值。麻醉科医生 John Carlisle 用随机化检验排查:随机分组后基线不可能完全一致,他检查五千零八十七项试验,发现 5% 的数据可疑。
作者还列举了领域特有的疏忽。细胞系污染:1958 年就被发现,2017 年一项分析找出三万二千七百五十五篇使用"冒名细胞"的论文,逾五十万篇论文引用了这些受污染研究;中国实验室细胞系误认率高达 46%,中国新建立的细胞系最多有 85% 掺入美国细胞;《自然》1981 年的社论反而把举报者称为"自封的治安员",此后三十年间这类警告反复出现。动物实验:Malcolm Macleod 2015 年的调查发现只有 25% 的论文报告随机化,30% 报告盲法,0.7% 说明样本量如何确定。
小样本(低统计功效)是另一类系统性疏忽。效应通常很小,小样本无法可靠检出;低功效研究只有能看到大效应时才会得到阳性结果,因此其阳性发现往往被夸大,再经发表偏见放大,误导后续研究者照搬小样本。Joseph Simmons 2013 年的演示给出直观数字:检出"男性比女性高"需要每组六人,检出"爱辣的人更爱印度菜"需要每组二十六人,检出"自由派更重视社会正义"需要每组三十四人,检出"男性比女性重"需要每组四十六人;而神经科学中要检出小鼠迷宫表现的性别效应需要一百三十四只鼠,平均研究却只用二十二只。
作者用"候选基因"研究的兴衰说明低功效的代价。2000 年代初,COMT 基因与认知、5-HTTLPR 与抑郁、BDNF 与精神分裂症等候选基因研究大量发表,2003 年《自然·神经科学》声称某基因变异让记忆表现差 21%。基因分型降价后,全基因组关联研究(GWAS)用数万样本检验,那些"大效应"候选基因消失得无影无踪;高功效的复制全部得出空结果。Fisher 1918 年就已算出复杂性状由成千上万小效应基因决定。作者引用博客 Slate Star Codex 的比喻:这些研究不仅声称发现了独角兽,还描述了独角兽的食谱、亚种和搏斗场面。
夸大
第六章讨论对结果的过度宣传。2010 年 NASA 在《科学》发表"砷生命"论文:Wolfe-Simon 团队声称加州莫诺湖的细菌 GFAJ-1 用砷代替磷构成 DNA。NASA 提前数日发布"将影响地外生命搜寻"的预告,引发外星生物猜测。其他实验室无法复制,Rosemary Redfield 等人指出细菌并未在无磷环境生长,DNA 中的砷只是污染;《科学》刊登了八篇技术评论,两个独立复制均失败,论文的假说被放弃,Wolfe-Simon 此后只再发表过一篇论文,转向教学。作者认为,NASA 因经费压力而夸大宣传,结果损害了自身的公信力。
作者引用卡迪夫大学 2014 年的研究:几百份健康相关新闻稿中,40% 给出论文证据无法支撑的行为建议,36% 跨越物种推论(约 90% 的小鼠结果无法转化到人),33% 把相关性说成因果;新闻的夸大程度与新闻稿挂钩——新闻稿夸大后,新闻把建议、因果、转化推论放大的概率分别提高 6.5 倍、20 倍、56 倍。2019 年的随机试验进一步证明:向新闻稿里加入无根据的因果语句会直接放大新闻标题的夸大程度,而夸大后的健康新闻确实让读者更相信治疗有效。
作者把矛头转向科普书。Carol Dweck 的"成长型思维"概念:2016 年调查显示 57% 的美国教师接受过相关培训、98% 同意它能改善学习;2018 年荟萃分析却发现思维模式只解释约 1% 的成绩差异,干预后两组成绩分布仍重叠 96.8%。John Bargh 2017 年的《在你意识到之前》继续引用已复制失败的启动研究——办公椅(五十四人)、热咖啡杯(四十一人)——并把结论移植到从未测试过的"求职面试"场景。Matthew Walker 的《我们为什么要睡觉》宣称"睡得越短命越短""每晚睡不足六七小时会摧毁免疫系统、把患癌风险翻倍",Alexey Guzey 逐一核对来源后发现:睡眠与死亡风险呈 U 形关系(睡太久同样折寿),癌症风险的证据微弱甚至不存在,书中还截掉了一张图中不利自己的部分。
期刊语言本身也在膨胀:1974 至 2014 年间,摘要中"创新""有前景""空前"等正面词的使用量从 2% 升到 17.5%,论文作者戏称按此趋势,2123 年每篇摘要都会出现"新颖"。对阴性结果的"粉饰"(spin)更普遍:2010 年一项分析显示 68% 的无效随机试验在摘要中试图强调治疗获益,20% 的论文每个部分都有粉饰,18% 连标题都做了手脚;作者列举了"接近显著""勉强绕过显著""非常接近显著上限"等真实引用。各领域统计:产科与妇科 15% 的阴性试验被粉饰,肿瘤预后研究 35%,肥胖试验 47%,抗抑郁和焦虑药物论文 83% 不讨论设计局限;中国医学期刊自称"随机对照试验"的论文只有 7% 真的用了随机化。
作者以"微生物组"和"营养学"为例说明高热度领域的夸大循环。粪菌移植治疗艰难梭菌复发性感染有可靠证据,但把微生物组与抑郁、精神分裂症、自闭症、阿尔茨海默病等挂钩的研究多为小型初步工作。2019 年《细胞》论文把十六名自闭症和对照儿童的粪便移植给无菌小鼠,声称小鼠出现类自闭症行为;统计学家 Thomas Lumley 重析数据后发现他们把每只小鼠当成独立样本(实际只有极少数供体),改正统计方法后只剩下掩埋弹珠一项勉强显著(p=0.03)。营养学领域:Dipak Das 因伪造十九项白藜芦醇研究被解雇;2017 年关于饱和脂肪与多不饱和脂肪的荟萃分析未发现替换脂肪的益处,且漏斗图显示发表偏见;Schoenfeld 和 Ioannidis 从食谱随机抽五十种食材,其中四十种在文献里被声称影响癌症风险。最大的营养学随机试验 PREDIMED(七千余人,地中海饮食)在 2013 年轰动一时,随后被 Carlisle 的随机化检验揪出问题:1,588 名参与者(占样本 21%)因同户或同诊所被分到同一组,论文被撤稿、2018 年重发,修正版里饮食效应只体现在中风风险上,对心梗和死亡率无影响。
作者用 OPERA 中微子事件说明何谓恰当的信息发布:2011 年 OPERA 团队测到中微子比光速快 60.7 纳秒,他们发布新闻稿时明确写道"需要独立测量才能确认或推翻这一结果",并称结果"完全出乎意料"。事后发现是光纤连接松动造成的误差。尽管团队两位负责人因内部争议辞了职,作者认为这种主动强调不确定性的做法值得效仿。
第三部分:病因与修复
倒错的激励
第七章从 2017 年加州山火清理案讲起:美国陆军工程兵团按吨数付钱给承包商,承包商往卡车里塞湿泥、越挖越深,最后政府多花 350 万美元回填。作者把这种"想要 A 却奖励了 B"的逻辑套用到科学界:大学按论文数量和期刊档次排名、分配经费,"不发表就灭亡"。
论文数量在爆炸:生物医学每年新增约四十万篇,2013 年全部学科新增二百四十万篇,增长率 8%,意味着文献每九年翻一番。中国自 1990 年代初起对国际期刊论文发放现金奖励,一篇顶刊论文的奖金可达年薪二十倍;黑龙江大学的高姓教授五年内在同一本期刊发表 279 篇论文,拿走了学校同期一半以上的奖金。作者列举了由此衍生的做法:把一份结果拆成多篇发表的"切片香肠"(遗传学家把同一项 GWAS 按染色体拆成二十三篇);掠夺性期刊(Peter Vamplew 提交通篇重复"把我从你的邮件列表里删掉"的恶搞论文,被一家期刊评为"优秀");伪造同行评审(Hyung-In Moon 用假身份和假邮箱给自己审稿;Springer 因伪造评审撤了《肿瘤生物学》107 篇论文后停办该刊);自我引用(Robert Sternberg 七篇社论中 46% 引用自己,最高达 65%);强迫引用(约五分之一科学家遭遇审稿人要求引用其论文);自我抄袭(六成被抽查的澳大利亚学者复用旧文 10% 以上的文字)。影响因子同样可被操纵:作者引用 Phil Davies 的记录,2010 年一篇综述引用的 490 篇文献中有 445 篇指向某两本期刊,且集中在两年内,构成"引用卡特尔"。作者用 Goodhart 定律概括:当指标本身成为目标,它就不再是好指标。
计算机模型把这种激励机制推演成演化过程。Paul Smaldino 和 Richard McElreath 的模型里,实验室发表更多阳性结果就更可能"繁殖"(送出博士毕业生开新组),于是假阳性与真阳性同样可发表、却更容易获得,最终假阳性率飙升——他们称之为"劣质科学的自然选择"。另一模型显示,追新偏好的最优策略是做大量低功效小研究,即使一半是假阳性;第三个模型模拟出期刊偏好阳性导致的"对假阳性和欺诈结果的倒错奖励"。
修复科学
第八章用一项 2018 年研究概括问题链条。Ymkje Anna de Vries 团队取美国 FDA 批准的 105 项抗抑郁药试验,其中五十三项阳性、五十二项阴性。经过发表偏见(阳性发表 98%、阴性只 48%)、结局切换(十项阴性被改成阳性)、粉饰(剩余十五项中十项被说得好听)之后,明确阴性的试验只剩五项,且阳性试验被后续文献引用三倍于阴性。作者指出,抗抑郁药以外的领域以不同程度重复着同样的链条。
针对欺诈,作者建议更多公开违规者姓名;瑞典 2019 年立法把学术不端调查从大学移交给独立政府机构;期刊可在评审前用图像查重、statcheck、GRIM 等算法筛查。针对发表偏见,专门刊登阴性结果的期刊失败了——《生物医学阴性结果杂志》2017 年停刊,因为没人愿意投稿;接受一切方法合格结果的大刊(如 PLOS ONE,Ritchie 的 Bem 复制论文就发在那里)是替代方案;《人格与社会心理学杂志》已改变"永不刊登复制"的政策,上千种期刊签署欢迎复制的指南。预注册和注册报告直接切断"结果显著与否"与"能否发表"的联系:临床心脏试验在强制注册前后,阳性率从 57% 跌到 8%;注册报告制下阴性结果占比约 61%,普通文献约 10%。执行仍有漏洞,超过 55% 的试验向美国政府登记处延迟报告结果;英国国家健康研究院用"扣发 10% 经费"来强制报告。
关于统计方法,作者讨论了几条路线:废除显著性(2019 年《自然》刊出逾八百五十人签名的公开信);改用贝叶斯统计(先验带有主观性);把阈值从 0.05 收紧到 0.005(会进一步降低功效);由独立统计师分析数据;以及"多重宇宙分析"——把所有合理的分析组合全部跑一遍。Amy Orben 和 Andrew Przybylski 对青少年屏幕时间与幸福感的研究采用此法:第一个数据集有数百种组合、第三个有数亿种,他们只跑了两万种;平均效应为负但极弱,屏幕时间只解释约 0.4% 的幸福感变异,与吃土豆、戴眼镜的相关强度相当。
开放科学是另一组工具:公开数据、代码和材料,让其他人可以检查错误、复核分析。作者列举了限制——涉及个人隐私的基因数据不能公开,2011 年 H5N1 禽流感改造研究的细节因安全原因被要求删改——并强调大多数研究没有此类障碍。团队科学(team science)通过合并样本提高统计功效,粒子物理和遗传学已证明其价值。开放获取方面,作者对比了非营利机构美国国家科学院(每篇下载费 0.04 美元)与营利出版商 Elsevier(1.06 美元),引用德意志银行的报告把这种"政府出资、科学家免费评审、大学再花钱买回"的制度称为"三重付费"。Plan S 要求 2021 年起欧洲资助的研究只能在完全开放获取期刊发表,否则《科学》《自然》和约 85% 的期刊都无法接收这些论文。预印本加快了交流(物理、经济领域用了数十年,生物医学在疫情期间大量使用),但作者用 Roland Fryer 的警察执法研究作为警告:预印本没有评审,Fryer 最初宣称"黑人被警察枪击的概率低 23.8%",调整案件细节后结论翻转,而新闻只报道了那个未经调整的数字;bioRxiv 因此在疫情中给每页加上了"未经同行评议、不应作为确定信息报道"的提示。
作者主张大学、资助机构和期刊三方面共同改革:招聘和晋升时看"良好的科学公民素养"而非 h 指数;资助"人"而非"项目";对达到质量门槛的申请用抽签分配经费(NIH 评审分数与论文产出几乎不相关,与其让大家在申请书上浪费精力,不如随机);期刊要求作者撰写"研究局限"框、对投稿收费以抑制切片香肠。文化层面,Brian Nosek 提出先让改变"变得可能且容易";Florian Markowetz 列出"可复现工作的五个自私理由"。作者以 Górecki《第三交响曲》和 Boulez 的"Merde!"收尾:多数科学是渐进累积的,"把科学变得无聊"应该压过"刺激但空洞",但也不能彻底压制高风险探索。他改写 Joel Pett 的气候漫画作结:即使复制性危机是场骗局,开放性、透明、预注册、自动查错、预印本这些改革本身也会让科学变得更好。
结语:信任与自我修复
在结语里,作者把近年的正面进展(黑洞照片、免疫缺陷儿童的基因治疗、HIV 传播风险"实际为零"、量子隐形传态、小鼠红外视觉)与同期的丑闻并列:杜克大学研究者被认定在三十九篇论文和六十多项资助中伪造数据;伦敦大学学院一位遗传学教授因实验室"鲁莽"管理产出一批可疑论文却拒不辞职;一项声称保守派生理反应更强的研究复制失败后,复制论文被《科学》直接拒稿;反抄袭算法在俄语期刊中找出七万篇重复发表文章。他引用 Drummond Rennie 1986 年的话:似乎没有任何研究太零碎、太琐碎、太偏颇,以至于无法印成铅字。Charles Babbage 1830 年的《英国科学衰落反思》已把科学之病分类为"恶作剧、伪造、修剪、烹制",说明这些问题由来已久。
针对"写这种书会不会削弱公众对科学的信任",作者给出数据:Wellcome 全球监测 2018 年样本中,平均 72% 的人对科学有中高信任度,澳大利亚和新西兰高达 92%,中部非洲只有 48%。他认为真正损害信任的是媒体上没完没了的夸大报道和相互矛盾的营养学新闻,而皇家学会的格言"nullius in verba"(不要轻信任何人的话)以及"信任但要核实"才是对待科学的成熟态度。他还指出,科学家不该在政客面前"收腹":美国农业部 2019 年要求研究人员把每项研究标注为"初步",一个月后因抗议撤回;政客们无论有没有复制性危机都会滥用科学(李森科、创世论教学、意大利反疫苗政客、南非政府否认 HIV 与艾滋病的关系、莫迪关于古印度干细胞技术的言论、苏格兰禁止转基因作物)。作者主张坦率承认科学的不确定性能预先堵住攻击,并相信"修好科学,信任自然会跟来"。
附录:如何阅读一篇论文
附录给出十条自查问题,供普通读者判断单篇论文:发表渠道是否正规(警惕掠夺性期刊);研究是否预注册、数据和方法是否公开、是否发生结局切换;设计是否包含盲法和随机化、对照组是否可比;样本量是否足够(统计功效)、剔除数据是否过多;效应是否显著且大小合理("接近显著"这类措辞是红旗,大得难以置信同样可疑);推论是否越界(观察性研究说因果、小鼠实验说人类);资金与利益冲突、以及读者自身的意识形态偏见;用"假如我是被试"来检验研究的可信度;是否已有独立实验室的复制或荟萃分析;其他科学家的评价(Science Media Centre、Pubpeer、博客、Twitter、"被引"列表)。
作者在结尾重提 Gould 与 Morton 的争论:批评也可能出错,对批评的批评也可能出错,包括这本书本身。他写道,对已知与未知保持谦逊,初看与"发现新事实"的科学理想相悖,细想之下正是科学自身的本质。