Potts网络的模块化Latching动力模型

摘 要： Latching（锁连）是意大利国际高等研究生院的Alessandro Treves教授根据人类语言所独有的无穷递归能力假设构造出的自适应Potts动力学模型。Latching能够解释思维中的策略转移现象，对于探索人类智能的出现具有重要的意义。但是Latching动力学模型是建立在单个模块基础上的，无法与实验证据进行直接对话。本文利用具有时延的异联想突触连接将Latching动力扩展到模块化Latching链，并对其主要参数重绕概率、阈值系数、噪声模式对和反馈连接系数做了深入的仿真分析。研究的主要结果有：1）一个适当的重绕概率能增强模块内模式之间的锁连活动。2）在模块化网络中，LCL和ISR对反馈连接和噪声模式的大小都不敏感。3）只有在阈值较高，网络中才会出现比较清晰的Latching转移。

关键字：Potts网络；锁连；无穷递归

中图分类号：TP391 文献标识码：A 文章编号：2095-2163（2013）04-

Latching Dynamics in Potts Network

SONG Sanming， YAO Hongxun

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Latching dynamics， designed by A.Treves from SISSA， is a kind of adaptive Potts dynamics model that derived from the unique infinite recursion capability hypothesis in human languages. It successfully explains the strategic transition phenomenon in human thinking， bringing great significance to the exploration of the emergence of human intelligence. But Latching dynamics runs on a single module， forfeiting a fruitful dialogue with the experimental evidence. A modular Latching chain is proposed by the introduction of delayed hetero-associative synapses， and the effects of structural parameters like rewiring probility， threshold， noise patterns pairs and feedback connections are analyzed by computational simulations. The main findings in the paper includes： 1） an appropriate rewiring probability promotes the intra-modular latching transitions. 2） The average latching chain length and inverse switching ratio is insensitive to the noise and feedback connections. 3） A larger threshold is necessary for the clear transition between modules.

Key words： Potts Network； Latching； Infinite Recursion

0 引 言

在人类头脑中多有策略转移过程的发生。例如，在围棋中存在Stamma's mate（斯塔玛将杀）。图1中，当白移动到b4时 （Nb4），黑子没有选择，只能移动王 （Ka1）。按照教条式的落子方法，白子可以通过移动王 （Kb3） 吃掉黑兵。如果这样的话，黑王只需移动到b1 （Kb1）就会逃脱，导致平局。但是，白子其实还有一种更好的选择。比如，跳向一种新的策略（图1）中蓝色的转移。白王移动到c1 （Kc1），迫使黑兵（a2）前移。白王移动到c2 （Nc2）， 黑王将死，黑子落败。

这种内部生成的策略改变可以通过Hayling测试在实验中进行观察[1]。在实验中，实验员要求试用任意词补充类似于``The ship sank very close to the ..."这种预先设计好的句子框架。但是，被试不得使用与句子环境相关的或者句子的自然填充词。一般情况下，被试很快就会学习到一种新的策略，这种策略使其在大多数实验中均能生成一个不相关的响应。比如，选择实验室里身边的物体。在没有外部刺激输入的条件下，监督式非路径操作s能从执行中容易出错的操作S1锁连到正确的操作S2，而且该过程可以自然、简单地执行。和标准的路径不同，这种过程需要一种特殊的操作，如Latching[2]，实现s-操作之间的锁连。

Latching动力模型是意大利国际高等研究生院（SISSA）的Alessandro Treves教授于2005年根据哈佛大学教授Hauser、麻省理工学院教授Chomsky和哈佛大学教师Fitch关于人类语言独有的无穷递归能力的假设[3]构造了一个基于自适应Potts 单元的自联想记忆模型。每个Potts单元代表一块皮质。Potts假设将皮质块视作功能单元[4]，并与Mountcastle的微柱理论[5]相得益彰。Amati等认为，latching现象对于人类智能的出现是起决定性作用的关键[1]。

Treves指出，如果全局网络是均匀稀疏网络，网络的容量非常小，以至于全局吸引子的数量甚至并不比局部吸引子数胜过许多[2]。Treves建议作两个修改：

（1）非均匀分布的长程连接；

（2）稀疏放电模式。即从宏观的角度上看，活动模式并不定义在所有的模块上，而是倾向于在少数强烈交互的模块上。

但是，实际情况是第一个修改条件在后面的分析中很大程度上被忽略了[6]。虽然Potts考虑到了神经元之间的连接关系，但是Potts之间也应该满足上述两个条件[7]。本文将考虑在小世界网络的框架下分析模块化Potts网络中的Latching动力学特性，而模块化小世界网络框架则如图1所示。

图1 模块化小世界网络

Fig.1 Modular Small-World

基于此，本文将Latching动力模块化，并做出以下几方面的考虑：

（1）模块化网络。将网络分成多个模块，在模块之间建立异联想突触连接。异联想突触连接有助于将Latching Chains 从一个模块转移到另外一个吸引子。模块内的Latching动力可以看成自发转移（包括“策略转变”），而模块之间的异联想连接引导网络动力的路径转移，如s操作。

（2）小世界网络。从fMRI和MEG的成像记录[8]来看，无论是局部的皮质网络，还是更宏观的白质连接，都具有小世界网络结构。

（3）传输时延。在此，引入了突触时延。信号的传递存在时延，如海马的CA3区，神经元之间的传递时延大约是2.5ms[9]。

（4）网络中可能存在噪声连接和反馈连接。

（5）自适应阈值。假设系统的阈值与网络活性成正比，即将阈值看成某种形式上的反馈。在神经系统中，这种抑制的角色可能由下丘脑扮演[10]。如此，模型就能更为客观真实地模拟语言和行为中的时序放电活动。

本文通过计算机仿真分析模块化Latching链。主要采取两个测度去分析其中的时序关联动力。一个是平均Latching链长度 （latching chain length， LCL），用来刻画平均每个模块中被唤醒的模式的个数。另一个是逆向跳变概率（inverse switching ratio， ISR）。由于噪声模式对和反馈连接的存在，网络中会存在不同程度的逆向跳变。下面，将主要分析重绕概率、阈值、噪声和反馈连接等主要连接参数对时序关联动力的影响。

1 模型

Latching动力导致状态之间结构性的转移。产生Latching动力有两个基本的条件：

（1）神经元自适应。成功回忆起某个概念的过程中激活的所有神经元均会通过适应，导致其活性下降，并使相应的Potts单元远离当前局部吸引子状态；

（2）吸引子关联。一些Potts单元剩下的活性能可作为线索来提取和当前全局吸引子关联的模式。

这样，与当前正在衰退的模式关联的全局活动同时满足两个条件：

（1）是如此地弱，不能完全抑制收敛到其它吸引子；

（2）是如此地强，能够引起对一个与当前模式足够关联的新模式的回忆。

所以，一旦给出第一个线索模式，网络状态就能自动经历一连串的记忆模式[2]。

1.1网络结构

为了生成模块化小世界网络，首先按照Watts-Strogatz算法[11]生成一个小世界网络。先将个Potts 单元排成一个环形结构，每个Potts单元和距离其最近的个Potts 单元形成突触连接（周期性边界）。这样，网络的稀疏连接系数是。然后以重绕概率对所有的突触连接进行重绕。当， 没有任何重绕，网络仍然是一个正则的近邻网络。 而当时，网络即变成全局随机耦合网络，网络的环状结构消失。当较小时，网络呈现小世界特征。

重绕后，将环状网络等分成个模块，对模块内的自联想突触连接进行随机重排，对任意两个模块间的异联想突触连接也进行随机重排。在图1中，显示了一个典型的模块化小世界网络及其连接矩阵。Potts单元之间的突触连接的有无则用二值连接矩阵C表示。如果Potts单元和之间存在一条突触连接，则，否则。和Hopfield网络类似，为了确保网络能收敛到吸引子，矩阵的对角线需要设置0。

1.2突触连接

每个模块具有相同的Potts个数，不同的模块存储不同的模式集。设定模式集的大小，网络总共存储个模式。模式用（，）表示。每个模式中，比例为的Potts单元设置为个可能的Potts态中的任意一个，剩下的Potts单元全部设置为静息态。

每个模块都是标准的自联想记忆Potts网络。模块之间通过模式对建立异联想突触连接，以利于活动在模块之间的传递。注意，每个模式都有可能参与多条路径。如果模块中的模式和模块中的模式存在时间上的关联，则将其称作是一个模式对， 或者简称。任何两个相邻的模块之间都存在个模式对。即，通过异联想突触，每个模式都能连接到下一个模块中的个模式。

假设每个Potts的状态数是，除此之外还有一个静息态。同时假设Potts处于非静息态的概率为，且处于每个非静息态的概率相等，即都等于， 则第个Potts单元处于状态，第个Potts单元处于状态时两个Potts单元之间的突触连接权重为（）：

（1）

其中，为每个Potts单元的平均连接数。

前一个模块中第个Potts单元处于状态，后一个模块中第个Potts单元处于状态时，两个Potts单元之间的突触连接权重为：

其中，。系数调节异联想突触连接的强度。

时序模块之间可以存在反向连接。为了减小非对称对自联想过程带来的影响，假设反向和正向连接权重之间满足，。

噪声模式对也是需要考察的对象。如果两个并不相邻的模块之间存在模式关联，则称这些模式对为噪声模式对。噪声模式对的强度为，即任意两个相距很远的模块之间存在个模式对。

1.3 Latching动力

第个Potts单元处于状态时的立即场是从模块内及其模块外的其它Potts单元的输入的加权和。其计算公式为：

是阈值，偏向静息态。最后一项是自增强项，有助于收敛到更活跃的状态。

热浴动力为[6]：

其中，称为局部势，包含了立即场和每个Potts状态的动态阈值。和的更新公式为：

由于局部势比阈值的更新速度要快得多，因此时间常数满足。类似地，可以写出静息态的局部势：

静息态的局部势由非静息态的活性所驱动。静息态的局部势开始是，激活Potts单元的静息态则会慢慢增加到，下调Potts单元的活性，在防止过热的同时，使当前吸引子去稳态。

阈值的大小和当前网络的整体活性成正比，具体公式为：

其中，是阈值系数。

3 仿真实验

文中利用MATLAB软件对Latching动力进行了仿真。在每个模块中存储个随机模式。进行仿真时，任意选择一个模式，将其中20%的Potts单元设置为随机状态，同时作为线索输入网络。计算初始立即场，并用其初始化局部场。初始阈值均设置为0。具体考察某一个参数的时候，保持其他的参数不变。Latching链的性能通过LCL和ISR考察。所有的值都是20次独立仿真得到的平均值。主要仿真参数为，时间常数，其它仿真参数参考文献[12]。

3.1 Latching链

图3显示了一条典型的Latching链。

可以看到，在大多数时间里，活动都集中在单个模块的单个模式中。当活动在一个模块中停留一段时间后，则将传递至下一个模块。

LCL可根据如下公式计算：

其中，是模块中被唤醒的模式数，是latching迭代完成的模块数。只有一个模式的唤醒程度（overlap）大于0.4时，才可将其看作有效的唤醒模式。式（9）中出现了减1，则是因为只考虑真正锁连的模式数。在图2中，LCL= （2+1+2+2）/4-1=0.75.

ISR是逆向传播的次数（）和总的异联想跳转次数（）的比值，具体公式为：

所有违背的异联想转移（包括远程转移） 均可看作是逆向跳转。而在图2中，活动没有逆向传播的情况，所以 ISR=0。LCL和ISR和参数密切相关。文中将在如下专节中讨论这些情况。

3.2 阈值和重绕概率

当U非常大时，和线索模式相关的模式将首先被唤醒。但这个模式并不足以克服阈值，导致无法进行Latching转移，或者唤醒下一个模块中的模式。在图3（a）中，，几乎所有的活动在3 000个仿真步内停止。

一个贴切适中的阈值会形成较为清晰的Latching传递。比如在图3（b）中，当时候，活动沿着环状网络，从模块2传递到1，然后依次传递到5，4，3。而且每个模块中都有一个或多个锁连转移。当阈值继续下降时，新的网络动力学出现了。为了显示比较清晰的例子效果，轻微调低了重绕概率，，。如果说在图3（b）中每次只有一个模块被激活，那么在图3（c）中同时有多个模块处于激活状态。之所以说这是一个不同的相，是因为活动沿着网络传递的概念逐渐消失了。模式转移路线逐渐变得模糊和混乱起来。

当很小的时候，如3（d）中，不仅多个模块同时激活，而且同一个模块中也有很多模式同时处于激活状态。更重要的是，Latching转移能够一直持续下去。在目前的参数条件下，较小的阈值能产生由单模块latching到多模块latching的相变。

继续降低阈值，系统将停滞在稳定的吸引子态。在4（e）中，，有些模式一直处于激活状态，而另外一些模式则出现了交替。

具有不同行为的参数取值区域可以综合成一张相图。不同的，参数取值空间分成不同的区域，就构成了相图。并且知道，LCL依赖于系统的相特征，可以通过考察LCL绘制相图。图4画出了（为了简便起见，没有考虑反馈），和 （中等程度的噪声）时候的相图。

（a） noL： no latching

（a） noL： 没有latching

（b） sL： single-modular latching

（b） sL： 单模块latching

（c） mL： multi-modular latching

（c） mL： 多模块latching

（d） infL： infinite latching

（d）infL： 无穷latching

（e） SA： stable attractor

（e） SA： 稳定的吸引子

3.3 重绕概率

重绕概率影响Latching序列的过程如图5所示。在图5中，可以看到，当很大的时候，没有latching转移发生。同时，也考察噪声模式系数和反馈连接系数的效应。为了理解网络结构究竟影响网络动力的具体机理，选择了一个比较高的阈值。因为当阈值较低时，网络结构逐渐不相关。

在图5中，给出了四种可能的组合条件下LCL，ISR和重绕概率的关系，没有反馈（）或中等程度的反馈（），没有噪声（）或中等程度的噪声水平（）。图LCL-q变化曲线可以看出，当噪声或反馈连接出现时，LCL和ISR对噪声和反馈连接并不敏感。但是如果噪声和反馈连接都出现的时候，对于准正则网络（），ISR明显增强。并且，在小世界网络的中间参数段，，LCL突然增强。而ISR在这个区间却明显变小。如果网络趋向随机网络，，LCL和ISR都很快衰减到0。

4 结束语

本文利用有时延的异联想突触连接，将Latching动力进行模块化扩展。Latching活动在一个模块中停留一段时间以后，将自动传递到下一个模块。自联想突触连接支持自由关联的latching动力，而异联想突触为模块间的吸引子转移提供了通道。随后，分析了主要结构参数，如重绕概率、噪声模式对、反馈连接和阈值对Latching Chains的影响。仿真表明，一个适当的概率和一个相对较高的阈值均能增强模块内模式之间的锁连活动。而且LCL和ISR对反馈连接和噪声模式的大小都不敏感。此外，网络活动逆向传递的概率则非常低。只有当反馈连接和噪声连接同时出现时，逆向传递的概率会突然增加。模块化Latching链是第一个能同时进行模块内和模块间转移的时序放电模型，具有丰富的内涵，其后将从理论和实验两个层面对其进行更加深入的研究。

参考文献：

[1] AMATI D， SHALLICE T. On the emergence of modern humans”， Cognition， 2007，103：358–385.

[2] TREVES A. Frontal latching networks： a possible neural basis for infinite recursion. Cognitive Neuropsychology， 2005， 22（3-4）： 276-291.

[3] HAUSER M N， FITCH C W T. The language faculty： what is it， who has it， and how did it evolve？. Science， 2002， 298：1569–1579.

[4] KANTER I. Potts-glass models of neural networks. Phys. Rev. A， 1988， 37：2739–2742.

[5] MOUNTCASTLE V B. Modality and topographic properties of single neurons of cat’s somatic sensory cortex[ J]. Neurophysiol， 1957，20（4）：408–434.

[6] RUSSO E， TREVES A. Cortical free association dynamics： distinct phases of a latching network. Phys Rev E Stat Nonlin Soft Matter Phys.，2012， 85（5（051920））：1–18.

[7] FAVOROV O V， KELLY D G. Minicolumnar organization within somatosensory cortical segregates： I. Development of afferent connections”， Cerebral Cortex， 1994，4（4）： 408–427.

[8] BASSETT D S， BULLMORE E. Small-world brain networks. The Neuroscientist”， 2006，12（6）：512–523.

[9] SABATINI B L， REGEHR W G. Timing of synaptic transmission. Annual Review of Physiology， 1999，61：521–542.

[10] HOHLWEG W. The regulatory centers of endocrine glands in the hypothalamus”， Pioneers in Neuroendocrinology， 1975，159–172.

[11] WATTS D J， STROGATZ S H. Collective dynamics of ‘small-world’ networks. Science， 1998，286：509–512.

[12] SONG S， YAO H， TREVES A. A modular latching chain”， cognitive neurodynamics （in press）.

[1]

基金项目：国家自然基金重点项目（项目编号：61133003），国家自然基金面上项目（项目编号：61071180）。

作者简介：宋三明（1984-），男，湖北荆州人，博士研究生，主要研究方向：神经计算、人工智能；

姚鸿勋（1965-）*，女，浙江杭州人，博士，教授，博士生导师，主要研究方向：计算机视觉、多媒体计算和人机交互。