第6讲：脉冲神经网络与类脑芯片

学习目标

• 理解脉冲神经网络（SNN）的基本原理
• 了解SNN与深度神经网络的关键区别
• 认识类脑芯片的发展现状

6.1 脉冲神经网络是什么？

6.1.1 从深度学习到脉冲神经网络

深度学习（第二代神经网络）使用连续值的激活函数，如ReLU、Sigmoid等。信息以连续的浮点数在各层之间传递。这种设计虽然数学上友好（可微，适合梯度下降），但与生物神经元的实际工作方式有较大差异。

脉冲神经网络（SNN，第三代神经网络）则更接近真实的生物神经元——信息通过离散的脉冲（spike）序列来编码和传递。神经元不会在每个计算步骤都输出一个激活值，而是只有当膜电位累积到一定程度时才会"发放"一个脉冲。

6.1.2 LIF神经元模型

LIF（Leaky Integrate-and-Fire）是最常用的脉冲神经元模型，它模拟了神经元的核心行为：

1. 积分：接收来自其他神经元的输入，累积到膜电位中
2. 泄漏：膜电位随时间自然衰减（就像水桶漏水）
3. 发放：当膜电位超过阈值时，发放一个脉冲
4. 重置：发放脉冲后，膜电位复位到静息水平

这个过程可以用一个简单的比喻来理解：想象一个水桶（神经元）在接雨水（输入信号）。桶里的水位（膜电位）会随着雨水增加，但也会因为桶底的小孔（泄漏）而慢慢减少。当水位超过桶沿（阈值）时，水会溢出（发放脉冲），然后桶里的水倒空重新开始（重置）。

6.2 SNN的训练方法

训练SNN的最大挑战是：脉冲发放过程本质上是不可微的（阶跃函数），这使得传统的反向传播方法不能直接应用。目前主要有三种训练策略：

6.2.1 替代梯度法（Surrogate Gradient）

在反向传播时，用一个形状相似但光滑可微的函数来代替脉冲发放函数的梯度。这是目前最主流的SNN训练方法，可以让SNN利用成熟的反向传播框架（如PyTorch）进行训练。

6.2.2 脉冲时序依赖可塑性（STDP）

这是一种基于神经元发放脉冲的相对时间来调整突触权重的无监督学习规则：如果突触前神经元在突触后神经元之前发放，则权重增强（"先到先得"）；如果突触后神经元先发放，权重减弱。这种机制被认为是大脑中学习和记忆的基础。

6.2.3 ANN转SNN方法

先训练一个传统的深度神经网络，然后将训练好的权重直接转换到同等结构的SNN中。由于IF神经元的脉冲发放频率与ReLU激活函数在统计上存在对应关系，权重的转换可以保持较好的性能。

6.3 类脑芯片——把大脑装进芯片

6.3.1 为什么要专门做类脑芯片？

在传统CPU/GPU上运行SNN效率不高，因为硬件是为连续的矩阵运算设计的，而SNN是事件驱动的稀疏计算。类脑芯片从硬件层面模拟神经网络的结构和工作方式，可以大幅提升SNN的运行效率和能效。

6.3.2 代表性类脑芯片

6.3.3 类脑芯片在自动驾驶中的潜力

类脑芯片相比传统芯片能效比提升2-3个数量级，特别适合车载边缘计算场景——低功耗意味着更少的散热需求、更长的电池续航，事件驱动特性意味着对实时变化的场景响应更快。2024年起，类脑芯片已开始被探索作为自动驾驶车载计算的候选方案。

6.4 SNN的优势与局限

优势

• 低功耗：事件驱动，只在有脉冲时进行计算
• 时序信息：天然适合处理时间序列数据
• 生物可解释性：更接近真实神经系统的运作机制

局限

• 精度：在图像分类等任务上，SNN通常不如同等规模的ANN
• 训练难度：不可微的脉冲函数给训练带来挑战
• 生态成熟度：工具链和社区远不如深度学习成熟

思考题

1. 脉冲神经网络的事件驱动特性在哪些应用场景中具有特别优势？
2. 如果你拥有一块类脑芯片，你会把它用在什么产品中？
3. ANN到SNN的转换为什么可行？这种方法的局限性在哪里？

延伸阅读

• Maass, W. Networks of Spiking Neurons: The Third Generation of Neural Network Models. Neural Networks, 1997.
• 方滨兴. 人工智能安全. 电子工业出版社, 2020.