Deep-learning (DL) stereomatching methods gained great attention in remote sensing satellite datasets. However, most of these existing studies conclude assessments based only on a few/single stereo-images lacking a systematic evaluation on how robust DL methods are on satellite stereo-images with varying radiometric and geometric configurations. This paper provides an evaluation of four DL stereomatching methods through hundreds of multi-date multi-site satellite stereopairs with varying geometric configurations, against the traditional well-practiced Census-semi-global matching (SGM), to comprehensively understand their accuracy, robustness, generalisation capabilities, and their practical potential. The DL methods include a learning-based cost metric through convolutional neural networks (MC-CNN) followed by SGM, and three end-to-end (E2E) learning models using Geometry and Context Network (GCNet), Pyramid Stereo Matching Network (PSMNet), and LEAStereo. Our experiments show that E2E algorithms can achieve upper limits of geometric accuracies, while may not generalise well for unseen data. The learning-based cost metric and Census-SGM are rather robust and can consistently achieve acceptable results. All DL algorithms are robust to geometric configurations of stereopairs and are less sensitive in comparison to the Census-SGM, while learning-based cost metrics can generalise on satellite images when trained on different datasets (airborne or ground-view).

中文翻译：

---

多角度多数据遥感立体影像密集影像匹配的深度学习方法对比研究

深度学习 (DL) 立体匹配方法在遥感卫星数据集中获得了极大的关注。然而，这些现有研究中的大多数仅基于少数/单个立体图像得出评估结论，缺乏对 DL 方法在具有不同辐射和几何配置的卫星立体图像上的鲁棒性的系统评估。本文通过数百个具有不同几何配置的多数据多站点卫星立体对对四种 DL 立体匹配方法进行了评估，与传统的实践良好的人口普查半全局匹配 (SGM) 进行了对比，以全面了解它们的准确性、鲁棒性、泛化能力及其实际潜力。DL 方法包括通过卷积神经网络 (MC-CNN) 的基于学习的成本度量，然后是 SGM，以及三个使用几何和上下文网络 (GCNet)、金字塔立体匹配网络 (PSMNet) 和 LEAStereo 的端到端 (E2E) 学习模型。我们的实验表明，E2E 算法可以达到几何精度的上限，但对于未见数据可能无法很好地泛化。基于学习的成本指标和 Census-SGM 相当稳健，可以始终如一地取得可接受的结果。所有 DL 算法对立体对的几何配置都很稳健，并且与 Census-SGM 相比不太敏感，而基于学习的成本指标在不同数据集（机载或地面视图）上训练时可以在卫星图像上泛化。while 可能无法很好地概括看不见的数据。基于学习的成本指标和 Census-SGM 相当稳健，可以始终如一地取得可接受的结果。所有 DL 算法对立体对的几何配置都很稳健，并且与 Census-SGM 相比不太敏感，而基于学习的成本指标在不同数据集（机载或地面视图）上训练时可以在卫星图像上泛化。while 可能无法很好地概括看不见的数据。基于学习的成本指标和 Census-SGM 相当稳健，可以始终如一地取得可接受的结果。所有 DL 算法对立体对的几何配置都很稳健，并且与 Census-SGM 相比不太敏感，而基于学习的成本指标在不同数据集（机载或地面视图）上训练时可以在卫星图像上泛化。