01 题目及来源

image-20210111093955504

02 这篇文章讲了什么

从生物的神经突触和记忆机理出发,仿生地阐述了忆阻器的机理。接着深入地阐述了各种机制的神经传导和忆阻器对其的还原与模仿。还从神经元的角度,列举了各种方式的对神经元的模拟。这是一篇关于神经元的综述性文章,讲的非常系统完整。

03 分章笔记

术语前瞻

LGP:局部梯度电位,细胞受刺激后去极化未达到阈电位的电位变化。

STP与STM:前者为短期可塑性,后者为短期记忆。短期可塑性偏重神经元和神经网络,短期记忆偏重记忆结果,两者在大部分情况下可看做同一概念。LTP与LTM同理。

EPSC:兴奋性突触后电位,兴奋性神经递质作用于突触后膜而产生的电位。神经冲动传入神经末梢时,兴奋性神经递质与突触后膜的受体结合,提高了膜对离子的通透性。这促使膜外的钠离子迅速内流,造成膜内钠离子急剧增加,膜内电位高于膜外,引起突触后膜的去极化,膜电位降低。

SNN:脉冲神经网络(Spiking Neuron Networks),一种基于脉冲编码的神经网络,考虑了神经网络的时间因素,能更好地模拟人脑。

MIT:金属-绝缘体转变(Metal-Insulator Transition),一种忆阻器的机制。

Biological Synapses and Neurons

1、生物神经上信息地传导分为两种形式:电信号传导和化学信号传导。其中,化学信号地传导是本篇文章重点关注的对象。

2、记忆分为STP(短期可塑性)和LTP(长期可塑性)。其中,STP与第一次刺激留下的突触前Ca2+浓度增加(减少)的残留量高度相关,其导致第二次刺激时突触释放的神经递质数量增加(减少);对于LTP,突触权重具体取决于突触前和突触后尖峰之间的间隔,进而影响LTP。

3、在生物系统中,通过神经元的活动以及通过突触的局部动态,即经更新突触权重来处理信息并将其存储在突触中。

4、神经元工作方式的现存模型主要有三种:积分放电(IF)模型、漏积分放点(LIF)模型以及Hodgkin-Huxley(HH)模型。其中,IF和LIF模型提供了对神经行为的生物学描述,但仅提供了与电信号的较弱联系,并且这两个模型在预测尖峰期间和之后电压的精确时程方面受到很大限制。

5、HH模型描述则的很好。下图显示了膜电位对尖峰时间的曲线图:

image-20210111102218630

可以从图中清晰地看到有上升、下降、后超极化三个过程。下面将对三个过程的机理进行简要描述:

1)静息状态:神经元膜电位约为−65mV;

2)上升阶段:来自树突的输入通过开放Na+通透通道引起膜的去极化。如果局部梯度电位(LGP)达到一个阈值,此时有足够的电压加压钠通道开放,膜就会产生一个动作电位。然后,Na+离子通过开放的钠通道涌入细胞,诱导膜电位变为正值;

3)下降阶段:在某些正膜电位下,K+通道开放,允许钾离子外流。接下来,Na+通道关闭,膜电位停止增加。然后因为K+通道仍然是开放的,它允许正电荷流出,使膜电位骤降;

4)后超极化阶段:当膜电位达到其静止电位时,K+通道开始关闭。K+通道的关闭时间比Na+通道的关闭时间长,因此产生后超极化。

6、HH模型把神经元的每个部分视为电路元件,可以得到下图:

image-20210111103648895

其中,神经元细胞膜可以表示为电容(Cm);离子通道的电导由可编程电阻(G)表示;泄漏通道由线性电阻(GL)表示;由离子浓度差产生的能斯特电势由线性电阻器(E)表示。

Memristive Devices

image-20210111105219395

如上图所示,图a)表示了忆阻器MIM结构的三维形态;后四图是忆阻器的不同类型。根据外部电场的极性,开关行为可以分为两种类型:双极和单极电阻切换;根据切换动态,可以将切换行为分为数字和模拟类型;基于状态保持特性,电阻切换行为也可以分为易失性和非易失性类型。

Memristive Synapses

我们从神经细胞的特性中可以看出,突触分为短突触和长期突触,即有不同的保留时间常数。在忆阻器件中,基于易变电阻切换行为的忆阻器件(例如阈值切换ECM单元,易失VCM单元,和三端忆阻器件)可以实现短期突触的功能;而非易失性VCM单元模拟长期的突触可塑性。

image-20210114134848589

如上图所示,当间隔Δt时间施加两个脉冲时,第二突触前突峰触发的EPSC(兴奋性突触后电位)的峰值(A2)大于第一突触前突峰(A1)的峰值。且在A1与A2两个脉冲之间,有一个EPSC先下降再上升的过程。这是因为在第一次尖峰之后质子的瞬态积累将随着尖峰间间隔的增加而逐渐消失。

注意:忆阻器在本篇文章中指的是应用于脉冲神经网络(SNN)的硬件。所以其与传统意义上的神经网络的区别在于它使用的是模拟电路方式(通过脉冲来获得二进制式的脉冲)来传递信息。更多信息请参见类脑运算-脉冲神经网络

此外,文献中提到了忆阻器具有记忆时间(换句话说,忆阻器和人的神经元一样具有“失忆”的功能)。其目的是为了防止某些未加脉冲的部位产生噪音,而让忆阻器具有自动遗忘噪音影响的功能,进而提高抗干扰性。此外,这么做还利于忆阻器保持一个低功耗状态,当收到一定的刺激时才被激活,而激活一段时间之后若没有后继的激活信号,忆阻器又会回到低功耗状态。

image-20210114145702324

如上图所示,忆阻器还具有学习记忆性。图a)表示了在去除刺激后的遗忘过程中,突触权重减小到中间状态;图b)表示了恢复之前学习所需要的刺激强度远弱于第一次学习过程所需要的刺激强度;从图c)可以看出,随着“记忆-遗忘”循环的多次进行,Relearning过程所需的次数越来越少;图d)也可以显示出随着“记忆-遗忘”循环的多次进行,遗忘率在不断降低。

Memristive Neurons

忆阻神经元的设计标准有很大不同不同于人工突触,因为它们在神经网络中扮演着完全不同的角色。一般而言,突触通过权重调整负责信息处理和存储,而神经元则处理复杂的信号处理任务。仅一个忆阻器通常不足以替代神经元,因此大多数情况下需要由CMOS晶体管和忆阻器组成的混合电路来仿真神经元。

一般来说,神经元分为两大类:类生物神经元(IF和LIF神经元,着重产生尖峰的阈值过程)和生物物理神经元(HH神经元,基于神经元膜中离子通道的生物物理动态细节)。其中,类生物神经元简单且普遍,但在处理一些显著的特殊特征上,生物物理神经元更胜一筹。比如超极化(hyperpolarization),就说明了生物物理神经元在基于尖峰频率和时序的神经形态计算系统编码(即SNN)中至关重要。

类生物神经元

image-20210115142502600

如上图所示,这是Yang等人设计的LIF神经元电路。其中采用了一种理想的挥发性忆阻装置(忆阻器2)来代表具有短期动态的膜电位,忆阻器1呈现非易失性(可以是有遗忘效应的也可以是没有遗忘效应的)电阻开关行为,用于代表接收输入尖峰的突触。

当外部信号传入时,忆阻器1发挥赋予权重的功能而后通过加法器OP1进行积分,得到Vadd。当Vadd施加到忆阻器2时,引起忆阻器2的电阻减小,从而导致RC的分压(Vout)升高。比较器OP2与LGP在生物神经元中发挥的作用一样起比较作用,若Vout大于比较器OP2(VR)的参考值,则会产生尖峰,从而实现触发功能。如果Vout低于VR,则由于忆阻器2的挥发性特征(该神经元的泄漏功能),Vout将逐渐泄漏出去。此外,尖峰产生实际上是在脉冲发生器(P)的帮助下实现的。

image-20210115143716409

如上图所示,这是Wang等人设计的另一种LIF电路,相比于前述LIF电路它更简单,由具有阈值开关的扩散忆阻器件和并联电容器组成。因为忆阻器执行了固有的阈值切换过程,无需比较器和外部脉冲发生器。在这种人造LIF神经元中,电容器C充当膜并实现神经元的泄漏和整合作用,而扩散忆阻装置充当离子通道并实现发射功能。该神经元中的输出信号是流过扩散忆阻设备的电流。

为获得电压尖峰,可以将一个电阻与阈值开关器件串联连接,如图b)所示,输出信号由该串联电阻的分压表示。当在此LIF神经元上施加输入脉冲时,电容器将以RsC的时间常数进行充电,并提升扩散忆阻器件两端的电压(即图中CL环路的电压)。当电压达到忆阻器的阈值时,忆阻器的导电细丝联通,电容器C通过环路CL放电,并引起忆阻器件两端电压骤降,忆阻器回归高阻态。随着电容器C的充放电过程,就会形成一个电压尖峰。

image-20210115144920570

另外,需要注意的是两端忆阻器件与普通电容器具有非常相似的结构,即MIM夹层结构。因此对于某些忆阻器件,LIF神经元可以通过单个组件来实现。如上图所示,就是一种基于单个MIT(金属-绝缘体转变)忆阻器的LIF神经元。这种单分量LIF神经元的工作过程类似于基于带有电容器的混合电路的工作过程。此外,还可以通过控制输入脉冲参数来调整尖峰频率。详细的实验结果表明,银丝的形成和自动恢复是阈值切换行为的物理机制。

生物物理神经元

这种神经元与上述类生物神经元不同,它涉及到了Na+、K+离子通道的复杂动力学,所以需要复杂的电路来实现。

image-20210115151540110

如上图,Pickett等人研发了一种HH轴突,其包含两个部分,每个部分均包含一个NbO2细胞和一个并联的电容器,以充当神经元膜中的钠和钾离子通道。这两个元件通过负载电阻器(RL2)相互耦合,并采用的NbO2忆阻器件执行阈值切换。

image-20210115152015809

如上图,后来Huang等人又改进了先前的结构,提出了一种新的HH神经元架构。电路中有两个忆阻器件M1和M2,其中M1充当神经元膜并实现LGP动力学,而M2充当神经元轴突并实现发射HH神经元样的尖峰。由于该忆阻器件没有阈值,因此比较器用于在该电路的第一部分中实现泄漏的集成和发射功能。

如果LGP达到比较器的参考值,则比较器将产生一个下降沿,然后触发Timer产生固定宽度的脉冲。带有输入信号的定时信息的该脉冲被施加到一个由M2和串联的电阻R3组成的简单电路上。输出尖峰是R3上的分压,非常类似于神经元产生的尖峰。此外,可以通过控制输入信号来调节输出尖峰频率,并且发现M2中的质子和电子的相互作用类似于神经元膜中K+和Na+离子通道的配位。

04 总结

读罢这篇老师所写的论文,深有感触,对自己未来要做的领域有了更深刻的了解和清晰的认识。虽然读这篇文章可谓费了九牛二虎之力,花了很多的时间和精力,但并没能完全理解文章各段的意思。对于高阶可塑性和异突触可塑性等的理解甚至处于文盲状态。但相比之前,确实能从文章里学到很多新的知识。继续阅读更多的文献,之后再来回看这篇,希望自己能有更清晰的认识。