在这项工作中，我们提出了一个单一的深层神经网络用于全景分割，其目标是在语义分割中为输入图像的每个像素提供一个类标签，并在实例分割后为图像中的特定对象提供唯一的标识符。我们的网络进行联合语义和实例分割预测，并将这些预测结合起来，形成全景格式的输出。这主要有两个好处：第一，整个全景预测一次完成，减少了所需的计算时间和资源；第二，通过共同学习任务，两个任务之间共享信息，从而提高性能。我们的网络通过两个街道场景数据集进行评估：城市景观和地图景观通过利用信息交换和改进合并启发式算法，我们提高了单一网络的性能，在地图视景验证中获得了23.9分的全景质量（pq）度量，输入分辨率为640x 900像素。在城市景观验证中，我们的方法在512x 1024像素的输入分辨率下获得了45.9分的pq值。此外，我们的方法对于独立的网络将预测时间减少了2倍。
为了得到最终一致的全景分割输出，使用高级启发式方法将语义分割和实例分割输出融合综上所述，我们从图像数据对街道场景理解的主要贡献是： •用于全景分割的单一网络。 •分支机构间信息交换，以利用单一网络架构。 •改进了用于合并语义和实例分段预测的启发式方法。
该网络由语义分割和实例分割两个分支组成，两个分支使用相同的特征抽取器。这些分支被联合训练，并在一次传递中输出它们的预测。
在我们的基线网络中，我们使用resnet-50特征抽取器，输出步长为8。resnet-50最初的步幅是32，但是在我们的网络中，它被缩小以允许更密集的语义分割预测。对于语义分割分支，我们遵循[5]在原始实现中，预测直接在特征提取器之后进行。
