（Ising Model）的一种推广。伊辛模型很好地体现了复杂系统中普遍存在的有序与无序竞争。二维的伊辛模型可以看作是展现有序 - 无序临界相变现象（也称作混沌与秩序的边缘）的最小模型。

　　伊辛模型的一个通俗版本就是观点动力学模型：假设有一个村落，大家开始选村长，是张三还是李四？假设每个村民都会受周围四个邻居的影响，邻居选张三多，则该村民也倾向于投票张三。当然，每个村民也存在一定的个性，也就是说它可能会以一定的倾向不去顾及周围邻居的选择，而完全按照自己的意愿来投票。就这样，每一周期，每个村民就去看看周围邻居的选择，然后决定自己的投票。这样演化下去，村民的投票选择就会形成一定的动态。调整独立选择倾向性参数，会得到不同的动态结果。如果倾向性高，则系统演化会非常随机；如果倾向性低，则系统会演化到所有村民都只选择某一个选择上；存在一个临界的倾向性，系统展现出高度的复杂性：每个村民会对到底选张三还是李四而犹豫不决，反复改变。

　　图 1. 二维的伊辛模型，每个小箭头就代表一名村民，向上代表选择张三，向下选择李四。每个村民受到上下左右四个邻居，以及是否倾向于自己的意愿选择的影响。

　　Hopfield 网络是对伊辛模型的扩展。首先，每个神经元就九游体育是一个村民，其次他们生活在高度发达的网络社会，因此每个神经元之间的链接是一个全连接的网络。

　　其次，村民之间的链接不再是一成不变的，而是会随着神经网络的训练过程而发生演变。训练的最终目标就是要让整个网络上各个神经元经过类似村民投票规则的演化所形成的最终状态能够满足一定的要求的分布形式，如上图左边黄色，右边绿色的分布，从而让网络具备一定的记忆能力。

　　当然，这种网络还和今天常见的前馈类型的神经网络相差太远，于是，Hinton 就在 Hopfield 模型基础上做了扩展，得到一种能够区分输入和输出的二分网络，其中一部分接收输入数据，另一部分则起到记忆作用，这种网络称为受限的玻尔兹曼机（Restricted Boltzmann machine）。将多种这样的网络串联起来，还可以形成深度的网络，这也构成了第一个可以被称为深度神经网络的架构。

　　今年的两位诺贝尔物理学奖获得者是 John Hopfield 和 Geoffrey Hinton，他们基于物理学工具提出的方法为机器学习的强大能力奠定了基础。John Hopfield 提出的联想记忆（associative memory），可以存储和重建数据（包括图像和其他类型的数据）中的模式。Geoffrey Hinton 发明了可以自主发现数据属性的方法，从而执行诸如识别图片中特定元素等任务。

　　当我们谈论人工智能时，通常指的是使用人工神经网络的机器学习。这项技术最初受大脑结构的启发。在人工神经网络中，大脑的神经元由具有不同数值的节点表示。节点之间通过类似突触的连接相互影响，影响可以增强或减弱。通过对同时具有高数据的节点之间的连接进行加强等方式，可以对人工神经网络进行训练。今年的获奖者自上世纪 80 年代以来在人工神经网络领域开展了重要工作。

　　John Hopfield 发明的 Hopfield 网络，专门用于存储和重建模式。我们可以将节点想象为像素，整个 Hopfield 网络就对应一副图像。Hopfield 网络利用了物理学中描述材料特性的自旋方法（自旋是使每个原子成为微小磁铁的属性）。借鉴物理学中描述自旋系统能量的方式，可以对 Hopfield 网络作为一个整体进行描述，并通过寻找节点之间的连接值进行训练，从而保存具有较低能量的图像。当 Hopfield 网络接收到失真或不完整的图像时，它会按照一定的策略遍历节点并更新其值，从而降低网络的能量。这样，Hopfield 网络就能逐步从存储的图像中找到与输入图像最相似的图像。

　　Geoffrey Hinton 以 Hopfield 网络为基础发明了一种新的网络——玻尔兹曼机（Boltzmann machine）。玻尔兹曼机能够通过学习识别给定数据类型中具有特征的元素。Hinton 借助统计物理的工具——统计物理主要研究由大量粒子组成的系统的整体行为和性质——通过输入在运行过程中可能出现的示例对玻尔兹曼机进行训练。训练好的玻尔兹曼机可以用来对图像分类，或生成与训练示例的模式类似的新图像，Hinton 在此基础上进一步发展，开启了当前机器学习的爆炸性发展。

　　诺贝尔物理学委员会主席 Ellen Moons 表示： 获奖者的工作已经带来了巨大的益处。在物理学中，我们在开发具有特定属性的新材料等广泛的领域使用人工神经网络。

　　统计物理学不仅能解释热学现象，还能帮助我们理解从微观粒子到宏观宇宙的各个层级如何联系起来，复杂现象如何涌现。它通过研究大量粒子的集体行为，成功地将微观世界的随机性与宏观世界的确定性联系起来，为我们理解自然界提供了强大的工具，也为机器学习和人工智能领域的发展提供了重要推动力。

　　集智俱乐部联合纽约州立大学石溪分校教授汪劲、德累斯顿系统生物学中心博士后研究员梁师翎、香港浸会大学助理教授唐乾元，共同发起「非平衡统计物理」读书会，关注非平衡统计物理的前沿理论进展、生命和热力学、统计物理与机器学习交叉三个大的主题方向，涵盖热机优化问题、涨落相关的热力学、反常热力学现象、信息视角下的热力学、生命系统的景观和流理论、活性物质、生命系统、种群动力学、机器学习和人工智能等前沿线 进行。我们诚挚邀请相关领域的研究者分享的工作，也欢迎大家一起参与讨论交流！

　　统计物理方法是一座架起微观作用到宏观涌现的桥梁，2021 年诺贝尔物理学奖得主帕里西在无序系统方面作出开创之举，他提出复本对称破缺方法解决自旋玻璃问题，这一方法也对神经网络等交叉学科产生深厚影响，激发未来对人工智能和人脑等复杂系统的进一步研究。本节课程介绍什么是自旋玻璃、自旋玻璃应用的几个经典例子、为什么需要空腔方法、空腔方法的基本思想和具体推导以及消息传递算法等内容，搭建从统计物理到神经网络重要的桥梁，帮助大家更好理解神经网络的基本原理。

　　自 1956 年 人工智能 诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT 的横空出世、生成式 AI 的普及、AI for Science 等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督九游体育学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。

　　本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素，为研究者或学生在生成式 AI、大模型、AI for Science 等相关领域的学习和研究工作奠定基础。

　　参见链接：张江：第三代人工智能技术基础——从可微分编程到因果推理 集智学园全新课程