人工神经网络在花时间完全不学习时会学得更好

根据年龄的不同，人类每 24 小时需要 7 至 13 小时的睡眠。在此期间，发生了很多事情：心率、呼吸和新陈代谢潮起潮落;激素水平调整;身体放松。大脑中没有那么多。

“我们睡觉时大脑非常忙碌，重复我们白天学到的东西，”加州大学圣地亚哥分校医学院医学教授兼睡眠研究员 Maxim Bazhenov 博士说。“睡眠有助于重组记忆并以最有效的方式呈现它们。”

在之前发表的著作中，Bazhenov 及其同事报告了睡眠如何建立理性记忆，即记住物体、人或事件之间任意或间接关联的能力，并防止遗忘旧记忆。

人工神经网络利用人脑的结构来改进从基础科学和医学到金融和社交媒体的众多技术和系统。在某些方面，他们已经取得了超人的表现，例如计算速度，但他们在一个关键方面失败了：当人工神经网络按顺序学习时，新信息会覆盖以前的信息，这种现象称为灾难性遗忘。

“相比之下，人脑不断学习并将新数据整合到现有知识中，”Bazhenov 说，“当新训练与睡眠时间交织以巩固记忆时，它通常学得最好。”

在 2022 年 11 月 18 日出版的PLOS Computational Biology 上，资深作者 Bazhenov 及其同事讨论了生物模型如何帮助减轻人工神经网络中灾难性遗忘的威胁，从而提高它们在一系列研究兴趣中的效用。

科学家们使用尖峰神经网络人工模拟自然神经系统：信息不是连续交流，而是在特定时间点作为离散事件(尖峰)传输。

在这种记忆表征中，睡眠代表了人脑可以用新记忆巩固旧记忆而不丢失学习的时期。在人工神经网络中，新信息可以覆盖旧信息，称为灾难性遗忘。图片来源：Golden, R. 等人。2022, PLOS 计算生物学

他们发现，当脉冲神经网络接受一项新任务的训练时，但偶尔会出现模仿睡眠的离线状态，灾难性遗忘就会减轻。研究作者说，就像人脑一样，网络的“睡眠”使它们能够在不明确使用旧训练数据的情况下重播旧记忆。

记忆在人脑中由突触权重模式表示——两个神经元之间连接的强度或幅度。

“当我们学习新信息时，”Bazhenov 说，“神经元会按特定顺序放电，这会增加它们之间的突触。在睡眠期间，我们在清醒状态下学到的尖峰模式会自发地重复。这称为重新激活或重播。

“突触可塑性，即改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触权重模式，有助于防止遗忘或使知识从旧任务转移到新任务。”

当 Bazhenov 及其同事将这种方法应用于人工神经网络时，他们发现它有助于网络避免灾难性遗忘。

“这意味着这些网络可以像人类或动物一样不断学习。了解人类大脑在睡眠期间如何处理信息可以帮助增强人类受试者的记忆力。增强睡眠节奏可以带来更好的记忆力。

“在其他项目中，我们使用计算机模型来制定最佳策略，以在睡眠期间应用刺激，例如听觉音调，以增强睡眠节奏并改善学习。这在记忆力不佳时尤其重要，例如当记忆力下降时衰老或某些情况，如阿尔茨海默病。”

合著者包括：加州大学圣地亚哥分校的 Ryan Golden 和 Jean Erik Delanois;和捷克科学院计算机科学研究所的 Pavel Sanda。