创新背景

自动驾驶汽车靠各种传感器“看到”这个世界，然后再借助人工神经网络处理来自传感器的数据。它们和人类不同，因为人类是有记忆的，一条路多走几次就熟了，但对于使用人工神经网络的自动驾驶汽车来说，这条路每天都是新的。这在天气恶劣时会成为一个问题，因为这种天气下，传感器往往没有那么可靠。

本研究论文的资深作者Weinberger 教授认为，上述问题的核心在于，我们能否从反复的经历中学习？例如，汽车的激光扫描仪第一次从远处看到形状奇怪的树时，可能会把它误认为行人，但一旦距离足够近，物体类别就变得清晰起来。因此，当你第二次开车经过同一棵树时，即使是在雾中或雪中，你也希望汽车已经学会正确识别这棵树。

创新过程

为了缓解这一问题，来自康奈尔大学 Ann S. Bowers 计算机与信息科学学院和工程学院的研究人员在 CVPR 2022 上发表了三篇研究论文，其核心思想是为自动驾驶汽车创造“记忆”，并在后续的行驶中使用这些记忆。
论文 1 标题为“HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception”，论文一作是博士生游宇榕（Yurong You），资深作者是康奈尔大学 Bowers CIS 计算机科学教授 Kilian Weinberger。

标题中的「HINDSIGHT」是一种在汽车经过物体时使用神经网络计算物体描述符的方法。然后，它会压缩这些被称为“SQuaSH (Spatial-Quantized Sparse History) 特征”的描述，并将其存储在虚拟地图上，类似于存储于人脑中的「记忆」。

下次穿越同一位置时，自动驾驶汽车可以查询沿途每个激光雷达点的本地 SQuaSH 数据库，并「回忆起」上次学习的内容。该数据库不断更新并在车辆间共享，从而丰富了可用于执行识别的信息。

此信息可作为特征添加到任何基于激光雷达的 3D 目标检测器中，检测器和 SQuaSH 表示可以在没有任何额外监督或人工注释的情况下被联合训练，但这需要花费不少时间和精力。

该研究小组在 18 个月的时间里驾驶一辆配置了激光雷达传感器的汽车在伊萨卡及其周围的 15 公里环路上重复行驶了 40 次，收集了沿途的环境（高速公路、城市、校园）、天气（晴天、雨天、下雪天）和一天中不同时段的信息，并撰写了论文2：Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions。

这项研究直面自动驾驶汽车的一项关键挑战——恶劣的天气条件，如果路面被积雪覆盖，人类可以依靠记忆，但人工神经网络无法依靠记忆，这就使其陷入劣势。

虽然 HINDSIGHT 仍然假设人工神经网络已经经过训练，可以检测物体，并增加了创建记忆的能力，但论文 3《Learning to Detect Mobile Objects from LiDAR Scans Without Labels》又往前走了一步，提出了一种名为 MODEST（Mobile Object Detection with Ephemerality and Self-Training）的方法。

在这篇论文中，作者让自动驾驶汽车从头开始学习整个感知流程。最初，车辆中的人工神经网络从未接触过任何物体或街道。在对同一路径多次遍历之后，它可以了解到环境的哪些部分是静止的，哪些目标是移动的。慢慢地，它会教会自己什么是其他交通参与者，什么是可以忽略的安全因素，然后该算法可以可靠地检测这些目标。

研究人员希望这两种方法都能大幅降低自动驾驶汽车的开发成本（目前仍严重依赖昂贵的人工标注数据），并通过学会在最常用的地点导航来提高这种汽车的效率。

创新关键点

该研究的核心在于为自动驾驶汽车创造“记忆”，并在后续的行驶中使用这些记忆。

本项研究将汽车经过的物体通过神经网络计算物体描述符的方法压缩为“SQuaSH特征”并存储在虚拟地图上，类似于将“记忆”存储于人脑中。又提出了一种名为 MODEST的方法，通过让自动驾驶汽车从头学习整个感知流程，学会什么是交通参与者，什么是可以忽略的安全因素，从而能够可靠地检测这些目标。

创新价值

该研究将改变自动驾驶汽车目前依然严重依赖昂贵的人工标注数据的现状，降低自动驾驶汽车的开发成本。