BOOK NOTES
复杂
梅拉妮·米歇尔
一、复杂系统的定义与共性
梅拉妮·米歇尔给出的工作定义:复杂系统是由大量组分组成的网络,无中央控制,通过简单运作规则产生复杂集体行为和信息处理,并通过学习或进化产生适应性。
书中列举的五类典型系统——蚁群、大脑、免疫系统、经济、万维网——在机制上截然不同,却共享三个抽象特征:
- 复杂集体行为:个体规则简单,整体行为不可从个体直接预测。
- 信号与信息处理:系统利用内外部信息,同时产生信息。
- 适应性:通过学习或进化改变行为以增加生存或成功概率。
如果系统的有组织行为无外部控制者,称为自组织;如果宏观行为无法从微观规则直接演绎,称为涌现。
二、混沌与动力学
线性与非线性
线性系统:整体等于部分之和,可叠加。非线性系统:组分之间发生相互作用,整体不等于部分之和。还原论适用于线性,对非线性则失效。
逻辑斯蒂映射与混沌
种群数量模型 ,当参数 增大时,系统依次经历:
- 不动点 → 周期2振荡 → 周期4 → …… → 混沌( 起)
对初始条件的敏感依赖性:混沌系统中初始条件的极小差异,经过足够多迭代后导致轨道完全分叉。即便掌握完整定律,长期预测在原则上也不可能。
费根鲍姆常数
物理学家费根鲍姆发现,所有"单峰映射"(只有一个极大值的映射)走向混沌的倍周期分叉速率收敛于同一常数 4.6692016。这个常数后来在流体、电路、激光等物理实验中都得到验证。简单映射中蕴含的普适性,是复杂系统研究"混沌中有秩序"的最早样本。
三条总结性认识
- 确定性系统可产生表面上随机的行为。
- 某些简单确定性系统的长期行为,在原则上无法预测。
- 大量混沌系统共享可预测的普适特征(倍周期路径、费根鲍姆常数)。
三、信息论基础
熵的两种定义
玻尔兹曼熵:宏观态对应的微观态数量越多,熵越高。高熵对应无序(粒子均匀分布),低熵对应有序(粒子聚集)。公式 刻在他的维也纳墓碑上。
香农熵:信息源的平均"惊奇度",与发送者发出的可能信息集合的大小有关,与信息本身的语义无关。随机消息具有最大香农熵;可预测的消息("Da Da Da……")熵为零。
麦克斯韦妖的解法
1871年麦克斯韦提出的思想实验:一个"妖"通过筛选分子速度降低熵,似乎违反热力学第二定律。1929年西拉德指出,测量行为本身需要消耗能量,因此必然增加熵。1980年代班尼特进一步精确化:真正消耗能量、产生熵的操作是擦除记忆——擦除是不可逆的,必然增加熵,测量本身可以在原则上做到不耗能。
这条逻辑链将信息与物理学联结起来:获取信息、处理信息、擦除信息,都有热力学后果。
四、计算理论基础
图灵机
图灵将"明确程序"形式化为图灵机:由带子、读写头和规则集组成。通用图灵机可模拟任何图灵机的行为——读写头读取的带子上同时包含程序编码和输入数据。这一思想直接成为可编程计算机的设计原型。
停机问题与不可计算性
图灵用反证法证明:不存在能判定任意图灵机是否停机的程序(停机问题不可判定)。证明的核心技巧是让图灵机处理自身的编码——信息被同时用作程序和数据,类似于哥德尔不完备性定理中"这个命题不可证"的自指结构。
哥德尔不完备性定理(1931):如果算术是一致的,则存在无法被证明的真命题。
这两个结果共同瓦解了19世纪"数学无所不能"的信念,同时为可编程计算机的出现铺平了道路。
信息的双重使用
自复制计算机程序的可能性,来自同一信息序列既作为"被执行的代码"又作为"代码操作的数据"。DNA的自我复制遵循同样逻辑:编码酶的基因序列既是程序(产生出用于复制的酶),又是数据(被这些酶解开和复制)。冯·诺依曼在20世纪50年代就预见了这一逻辑,彼时DNA结构尚未被阐明。
五、进化论基础
达尔文理论的核心
- 所有物种来自共同祖先,生命史是物种分化的树状结构。
- 资源有限时,个体为生存竞争,产生自然选择压力。
- 遗传变异在某种程度上是随机的,适应当前环境的变异被选择并传给后代。
- 进化是微小有利变异不断积累的渐进过程。
自然选择无设计者,却产生出"像是被设计过"的适应性。熵减(复杂性增加)是自然选择的结果,所需能量来自生物从环境中摄取的能量。
孟德尔遗传学与现代综合
孟德尔发现遗传通过离散"因子"(基因)传递,父母性状不会在后代中连续混合。达尔文强调渐变,孟德尔强调离散,两者曾被视为矛盾。20世纪20—40年代,费希尔、霍尔丹和赖特建立群体遗传学数学框架,证明两者相容,形成现代综合:自然选择作用于随机基因变异,进化是渐进的。
对现代综合的挑战
古尔德和埃尔德雷奇提出间断平衡:化石记录显示长期停滞后爆发式变化,与渐变预测不符。历史偶然和生物约束的作用,至少与自然选择同样重要。
六、复杂性的度量
劳埃德列出40种度量复杂性的方法,分属三个维度:描述难度、产生难度、组织程度。没有哪种获得公认。
| 度量方式 | 核心思想 | 问题 |
|---|---|---|
| 大小(基因组长度) | 越大越复杂 | 变形虫基因组比人类长225倍 |
| 香农熵 | 信息量越大越复杂 | 随机序列熵最高,却无意义 |
| 算法信息量(柯尔莫哥洛夫) | 生成描述所需最短程序的长度 | 随机对象信息量最大 |
| 有效复杂性(盖尔曼) | 规则性的算法信息量,随机部分不计 | 如何确定"规则性"有主观性 |
| 逻辑深度(班尼特) | 产生该事物所需图灵机的运行步数 | 无可操作方法 |
| 热力学深度(劳埃德-裴杰斯) | 物理构造事件序列所需资源总量 | "事件"粒度不明确 |
| 统计复杂性(克鲁奇菲尔德) | 预测系统未来行为所需的最小历史信息 | 系统须能被视为信息源 |
| 分形维 | 自相似性的分数维度 | 只能刻画几何复杂性 |
| 层次性(西蒙) | 嵌套的层次数量 | 忽视功能 |
最有序和最随机的系统复杂性均低,复杂性高的系统处于两者之间。度量方式的多样性本身表明复杂性是多维概念。
七、遗传算法
框架
遗传算法(GA):用达尔文进化的计算类比——随机初始种群 → 适应度评估 → 选择 → 交叉重组 → 变异 → 新一代种群,反复迭代。
"个体"是候选解的编码(通常为数字串),"适应度函数"衡量解的质量。
罗比机器人案例
在10×10格子、随机分布易拉罐的环境中,GA为机器人演化出优于人工设计的清扫策略。GA演化出两个人工策略没有的技巧:
- 沿边界系统搜索:在无罐时沿墙壁转圈,比随机移动效率高且不撞墙。
- 留罐作路标:遇到一堆罐子时故意不捡当前格,先向西移到最边缘,用留下的罐子记住位置,系统收集一整堆。
关键教训:GA演化出的解往往无法从基因组层面理解,需要观察其表现型(行为)才能发现背后的技巧。
八、元胞自动机与涌现计算
四类元胞机
沃尔夫勒姆系统研究256种初等元胞自动机,发现四种典型行为:
- 类型1:收敛到均匀静止状态
- 类型2:收敛到简单周期振荡
- 类型3:混沌(类随机)行为(规则30)
- 类型4:有序与随机混合,局部结构移动并复杂相互作用(规则110)
规则110被证明是通用图灵机——原则上可运行任何可计算程序。
粒子描述
针对"多数分类"任务(判断初始状态中黑色还是白色占多数),遗传算法演化出的最优元胞自动机规则,其行为可用"粒子"语言描述:区域边界充当信息载体,边界碰撞即信息处理。黑白区域之间无法直接通信,但棋盘格边界可以传递局部区域大小的信息,碰撞湮灭机制让较小区域逐渐消失、较大区域扩张。
这提供了理解分布式计算的一种高层语言:不在规则或状态层面,而在涌现的信息载体和交互层面理解计算。
九、生命系统的信息处理
对免疫系统、蚁群、细胞代谢三个系统进行分析,发现共同的信息处理模式:
信息的统计表示
信息表现为组分的动态分布模式,而非某个具体位置存储的符号。淋巴细胞的空间分布和动力学表示病原体威胁;蚂蚁在蚁迹上的统计分布表示食物源位置;分子浓度的时空变化表示代谢需求。
采样通信
个体组分通过采样环境中的统计信号传递信息:淋巴细胞采样抗原和细胞因子浓度;蚂蚁采样信息素浓度;酶采样底物浓度。
内在随机性
行为必然包含随机成分:淋巴细胞受体形状随机生成;蚂蚁搜索方向有随机成分;分子碰撞依赖随机扩散。随机性使有限数量的个体能够覆盖极大的可能空间。
并行级差扫描
所有可能性同时被探索,但分配的资源(蚂蚁数量、淋巴细胞增殖速度、酶浓度)依据当前绩效动态调整。初期随机分散,随信息积累逐渐集中确定。分散探测与集中行动之间的动态平衡,是适应性系统的共同机制。
十、模仿者程序与类比
霍夫斯塔特的"模仿者(Copycat)"程序针对字母串类比问题(如 "abc→abd,ijk→?"),用三个模块实现人类类比过程的计算模拟:
- 移位网:概念节点组成的网络,每个节点有动态活性值,活性扩散到相邻概念,高活性节点之间的"移位阻抗"降低(更容易发生概念迁移)。
- 工作区:存放类比问题和已建立的认知结构。
- 码片(Codelets):自主探索工作区的大量小程序,通过竞争和合作建立认知结构。
温度作为整体组织程度的度量:高温时码片行为随机(信息少),低温时行为确定(认知结构基本建立)。系统从混乱并行向连贯确定的渐进转变,与免疫系统、蚁群的机制在结构上相同。
关键洞察:类比是将当前情景中的概念"滑移"到另一情景中对应的概念。滑移的幅度和方向由当前激活的概念决定,而这取决于问题本身的结构。
十一、网络科学
小世界网络
瓦特和斯托加茨发现:从规则网络出发,随机重连少量连接(5%),可将平均路径长度从线性降至对数级。电影演员网络、美国西部电网、线虫神经网络都符合这一特征。
小世界性的直觉成因:少量长程连接充当"捷径",大幅压缩距离,而系统整体仍保持较高集群性。
无尺度网络
度分布遵循幂律 :大量节点连接度低,少数节点连接度极高(中心节点)。万维网、代谢网络、基因调控网络、性关系网络都符合这一分布。
偏好附连机制:网络增长时,连接度高的节点以更高概率获得新连接("富者越富")。这一机制自然产生幂律分布。
无尺度网络的稳健性:随机删除节点对网络性能影响小(因为删除的几乎总是低度节点),但中心节点失效会造成严重冲击。
连锁失效
网络中一个节点失效 → 其负载转移到邻近节点 → 邻近节点过载失效 → 级联扩散。2003年美国大断电、1998年长期资本管理公司危机都是连锁失效案例。
十二、代谢比例律
克莱伯定律
动物基础代谢率 体重,这一关系在哺乳动物、鸟类、鱼类、植物和单细胞生物中均成立。心率 体重,生命期 体重,均为"四分幂比例律"。
韦斯特-布朗-恩奎斯特理论
假设循环系统具有空间填充的分形网络结构,能量耗散最小,终端单元(毛细血管)大小不随体重变化。在这三个假设下,数学推导得出代谢率 体重。
直觉解释:鲁伯纳的表皮假说给出指数2/3(表面积/体积关系)。分形网络实际上让生物"表现得像四维的"——四维几何中对应的指数恰好是3/4。
该理论还预测:生态系统中种群密度 体重,DNA进化速率与代谢比例相关,肿瘤生长比例律等——部分预测已获数据支持,但争议持续。
幂律的普遍性
幂律分布(无尺度分布)在自然界极为普遍:城市规模、收入分布、地震能量、词语频率(齐普夫定律)。产生幂律的机制有多种(偏好附连、分形结构、自组织临界性等),对于特定系统适用哪种机制,目前很少有共识。
十三、进化发育生物学
基因开关
人类与老鼠基因组相似度超过90%,与大猩猩超过95%,但形态差异巨大。进化发育生物学的解释:形态多样性的主要来源是基因开关(非编码调控DNA序列)的进化,而非基因本身的差异。
基因开关位于功能基因旁边,包含可与特定蛋白质结合的标签序列。蛋白质与标签的结合状态决定相邻基因的开关状态。调控蛋白质本身又由其他调控基因编码,形成基因调控网络。
达尔文燕雀喙的形态多样性,通过对BMP4和钙调素两种基因的表达量调控即可实现——无需多基因的长期随机积累,开关的微小变化就能在短进化时间内产生显著形态差异。
考夫曼的随机布尔网络
用每个节点随机与K个其他节点相连、遵循布尔规则的网络模拟基因调控网络。K=2时,网络处于有序和混沌之间的"混沌边缘"——有稳定的吸引子(对应细胞类型),又有足够的灵活性响应扰动。
考夫曼的主张:复杂性不完全依赖自然选择,网络结构足够复杂时,自组织行为自发涌现。自然选择在复杂性涌现之后扮演选择和精化角色,而非唯一来源。这一主张至今争议不断。
十四、复杂性科学的现状与局限
已有成果
- 混沌:确定性简单系统可产生类随机行为;长期预测在原则上不可能;混沌系统之间有普适常数。
- 遗传算法:将达尔文进化用于计算,在多个工程领域产生超过人工设计的解。
- 元胞自动机:极简规则可产生通用计算能力,为分布式计算提供研究框架。
- 网络科学:小世界性和无尺度结构在多种自然与技术网络中普遍存在,为理解传播、稳健性和连锁失效提供语言。
- 代谢比例理论:用分形循环网络解释跨越21个数量级的生物比例律。
- 进化发育生物学:基因开关机制解释了为何形态多样性可以在少量关键基因变化下快速产生。
核心困境
没有单一的"复杂性科学",现有研究是对"复杂系统"感兴趣的不同学科的松散联合。对"复杂性"的定义,专家之间至今无共识。斯托加茨将目标描述为寻找"复杂性的微积分"——一套能从无数组分的相互作用中推导出系统行为的概念体系,类似于牛顿发明微积分来描述运动。
目前可确认的可迁移思想:
- 非线性:整体行为无法从部分叠加预测,还原论有适用边界。
- 分布式控制:许多系统在无中央指挥的情况下产生有序行为,控制权分散在大量简单个体中。
- 统计性信息:系统状态以动态分布模式表示,个体采样局部信息,整体产生全局效果。
- 平衡探索与开发:适应性系统在随机分散探索与确定性集中行动之间保持动态平衡,这一机制在蚁群、免疫系统、遗传算法、类比思维中反复出现。
- 幂律与自相似:许多复杂系统的统计分布具有分形特征,在多个尺度上呈现相同规律,无特征尺度。