当今的深度学习方法专注于如何设计最合适的目标函数,以使模型的预测结果能够尽可能地接近真实值。同时,还需要设计一种适当的架构,以便为预测获取足够的信息。现有方法忽略了一个事实,即当输入数据经过逐层特征提取和空间转换时,将丢失大量信息。
本文将深入研究数据通过深度网络传输时数据丢失的重要问题,即信息瓶颈和可逆函数。作者提出了可编程梯度信息(PGI)的概念,以应对深度网络实现多重目标所需的各种变化。PGI可以为目标任务提供完整的输入信息以计算目标函数,从而获得可靠的梯度信息以更新网络权重。
此外,基于梯度路径规划,设计了一种新的轻量级网络架构——广义高效层聚合网络(GELAN)。GELAN的架构证实了PGI在轻量级模型上取得了优越的结果。
作者在基于MS COCO数据集的目标检测上验证了所提出的GELAN和PGI。结果显示,GELAN仅使用传统卷积运算符就能实现比基于深度可分卷积的现有先进方法更好的参数利用率。PGI适用于从轻量级到大型等各种模型。它可以用来获取完整的信息,使得从零开始训练的模型能够比使用大型数据集预训练的现有先进模型取得更好的结果,对比结果如图1所示。