一种深度强化学习模型允许AI代理跟踪气味羽流

长期以来，科学家和工程师从动物的惊人能力中汲取灵感，并寻求在机器人和人工智能(AI)代理中进行逆向工程或重现这些能力。其中一种行为是气味羽流追踪，这是某些动物(尤其是昆虫)通常远距离追踪感兴趣的特定气味来源(例如，食物或配偶)的能力。

华盛顿大学和内华达大学里诺分校的研究人员进行的一项新研究采用了一种创新方法，使用人工神经网络(ANN)来理解飞行昆虫的这种非凡能力。他们的工作最近发表在NatureMachineIntelligence上，举例说明了人工智能如何推动突破性的新科学见解。

“我们有动力研究复杂的生物行为，气味羽流追踪，飞行昆虫(和其他动物)用来寻找食物或配偶，”该研究的主要作者SatpreetH.Singh告诉TechXplore。“生物学家通过实验非常详细地研究了昆虫羽流追踪的许多方面，因为它是昆虫生存和繁殖的关键行为。”

虽然羽流追踪是一项重要的生物能力，但它也是生物智能的一个显着例子，因为它需要整合关于当前和以前经历过的气味的记忆，以及处理间歇性或不可靠的嗅觉线索和风感觉信号，以允许昆虫迅速调整它们的飞行轨迹。

“而且他们在没有飞行环境的全球地图的情况下这样做，”辛格补充道。

如果在机器人或人工代理中可靠地复制，气味羽流跟踪可以让研究人员制造出更好的机器人，这些机器人可以检测和跟踪有害气体泄漏、野火和其他环境威胁。

“我们没有运行传统的实验室风洞实验，而是使用了一种使用人工神经网络的互补‘计算机模拟’方法，”辛格解释道。“这帮助我们对多个层面的羽流跟踪有了综合的理解，包括紧急行为、神经表征和神经动力学。”

许多神经科学家已经开始使用在标记数据上训练的人工神经网络(ANN)来研究和人工复制生物过程。在他们的研究中，Singh和他的同事改用深度强化学习(DRL)，这是一种算法工具包，才刚刚开始在神经科学中获得关注，它使用模拟而不是标记数据来训练ANN。

“最近在神经科学之外的一些非常成功的DRL应用包括DeepMind著名的围棋人工智能，或者OpenAI最近的一些GPT语言模型，”Singh说。“就像在动物训练中一样，DRL使用模拟的‘奖励’和‘惩罚’来训练能够自主完成任务的ANN代理。”

为了使用DRL训练他们的羽流跟踪代理，研究人员首先模拟了一种气味，该气味来自位于总面积约为120m2的多风场地内的一个来源。当他们的代理人确定气味来源的位置时，他们会收到奖励。相反，如果他们忘记了气味羽流并离开了竞技场，他们就会受到“惩罚”。

“经过培训，我们利用模拟器的灵活性来生成具有各种气味浓度和风型的羽流，以了解代理人在不同条件下的精确行为，”辛格说。“在真实的风洞中再现对羽流配置的这种细粒度控制将是一项相当费力的工作。”

Singh和他的同事还能够在跟踪气味羽流时观察他们的人工神经网络的各个单元(即人工神经元)的活动。跟踪过程中的此类单个神经元记录尚未在自由形式飞行的昆虫中收集到，因为使用现有技术无法实现。

“在我们训练有素的人工代理中出现的行为与生物学家之前在执行羽流追踪的飞行昆虫中观察到的行为模块有着惊人的相似之处，”辛格说。

研究人员收集的记录表明，他们的模型可能会复制支持动物气味羽流追踪的生物过程。随后，Singh和他的同事模拟了可以在未来的风洞真实世界实验中重新创建的羽流配置。

这些模拟使他们能够生成不同的假设，即人工代理在不断变化的风力条件下跟踪羽流时的行为方式。他们专门研究了风向经常变化的情况。

“使用我们的ANN代理的同步行为和神经观察，我们对支持羽流跟踪的算法和神经计算形成了直觉和洞察力，”Singh解释说。“例如，我们看到神经活动对变量进行编码，例如自上次遇到气味以来的时间，之前假设这些变量对羽流跟踪很重要。之前的实验和计算结果之间的这些相似性表明了根本重要性这些数量用于成功的羽流跟踪。”

除了实现关键技术进步之外，还可以对ANN代理进行逆向工程以更好地了解它们的工作原理，这反过来可能会为神经科学研究提供信息。因此，辛格和他的同事们创建的模型也有可能被神经科学家用来研究气味羽流追踪背后的生物学过程。

未来，研究人员希望他们的模型能够激发机器人代理的创造，这些机器人代理可以在搜索和救援任务、环境监测工作和其他应用中追踪气味。在他们接下来的研究中，他们计划通过提高模拟和代理的物理和生物保真度来进一步开发他们的模型，以便它们更好地代表现实世界的气味羽流。此外，他们还希望人工再现飞虫的其他生理特征和能力。

“还需要更多的理论工作来理解我们的人工神经网络，以进一步理解产生紧急行为的计算，”辛格补充道。“最后，我们的代理执行一项任务，即羽流跟踪，而飞行昆虫具有更丰富的行为库。开发可以重现如此丰富的生物复杂性的模拟和代理训练范例是一项艰巨的工程挑战，应该会激发未来的工作。”