龚健雅院士 | 智能遥感深度学习框架与模型设计

近年来，随着遥感技术的快速发展,遥感对地观测数据获取量与日俱增。在对海量遥感数据的特征提取与表征上,基于深度学习的智能遥感影像解译技术展现出了显著优势。然而，遥感影像智能处理框架和信息服务能力还相对滞后，开源的深度学习框架与模型尚不可满足遥感智能处理的需求。在分析现有深度学习框架和模型的基础上，针对遥感影像幅面大、尺度变化大、数据通道多等问题，本文设计了嵌入遥感特性的专用深度学习框架，并重点讨论了其构建方法，以及地物分类任务的初步试验结果等。本文提出的智能遥感解译框架架构将为构建具备多维时空谱遥感特性的深度学习框架与模型提供有力支撑。 遥感对地观测技术的发展与地理国情普查等项目的实施，形成了时效性强、覆盖范围广、信息量丰富的海量数据[1-2]。随着大数据、人工智能等技术的发展，基于深度学习的遥感影像解译与监测技术表现出了一定的优势。但在实际应用中，遥感影像智能处理框架和信息服务能力相对滞后[3-5]，仍未形成与人脸识别、车牌识别等类似的可广泛实用化的智能系统。截至目前，开源的深度学习框架与模型尚不可满足遥感影像智能处理的迫切需求。   遥感影像的智能解译涉及场景识别、目标检测、地物分类、变化检测、多视角三维重建等典型任务。在深度学习框架和模型方面，大多由通用图像识别的模型改造而来，一般只考虑可见光波段的图像特征，未顾及更广泛的遥感物理特性和地学常识等重要因素。在可扩展性方面，已有的深度学习框架大多只支持输入小尺寸影像，难以支持大幅面遥感影像整体训练[6]。例如训练语义分割网络，如果直接载入30 000×30 000像素的大幅影像，则会出现内存溢出问题造成训练失败。为保证正常训练，通常需将大幅遥感影像裁剪为512×512像素的固定尺寸作为语义分割网络的输入。然而，在这种处理方式下，现有深度学习框架难以挖掘到影像大范围空间上下文信息，使其扩展性受限；在尺度通道构建方面，普通影像包含场景范围小，尺度有限，而遥感影像受传感器、观测平台影响，分辨率各不相同、地物尺度变化极大，例如水体、植被等[7]。现有深度学习框架缺乏应对如此大尺度变化的优化方法；在数据通道挑选方面，普通影像的三通道相关性小，无须复杂的通道选取。遥感影像，尤其是高光谱影像，包含数百个通道，亟须深度学习框架具备优选能力[8-9]；在常识融合与建模方面，深度学习过程存在“灾难性遗忘”[10-11]，难以同时保有新旧数据处理能力。遥感影像有“同谱异物、同物异谱”现象，仅靠学习的图像特征，难达到理想精度，不可运用先验常识集成地学抽象规则，做出可解释、高可靠的决策。因此，亟须设计嵌入遥感地学先验常识的高效、可靠的智能遥感深度学习框架与模型。   人工智能时代，智能遥感深度学习框架与模型是连通遥感硬件、软件、应用场景的枢纽与关键。由于遥感对地观测与智能处理的战略价值，美国在2020年将基于人工智能的遥感技术列为敏感技术并限制出口，对我国形成新一轮封锁态势。鉴于目前尚无顾及遥感大幅面、多通道、常识融合特性的深度学习框架，研究面向遥感应用、具备自主常识产权的专用深度学习框架与模型，占领遥感人工智能生态链的制高点已显得尤为紧迫。本文针对遥感影像特色以及目标识别与动态监测等应用需求，提出了兼顾遥感影像特性的智能遥感深度学习框架与模型的研究思路(图 1)，并基于该研究路线设计了具备多维时空谱遥感特性的遥感专用深度学习框架与模型。 遥感专用深度学习框架具备不限制遥感影像大小特色，具有多框架混合编程、可拖拽的可视化操作及数据与框架协同等功能，使其可以与样本库紧密结合，自动适应多类型、多尺度、多级别的大规模遥感影像样本的训练与测试。同时，该框架可以构建顾及遥感特性的优化分析方法，为模型结构优化提供了科学依据。本文方法将形成尺度通道可灵活创建、数据通道可自适应优选、多层级联合优化的遥感专用深度学习框架与模型，能为遥感影像智能处理新理论、新技术和新成果的验证奠定基础。   遥感智能解译框架与模型现状   自2012年ImageNet挑战赛以来，面向通用图像处理的深度学习框架和模型迅猛发展。而现有的遥感领域影像处理模型，多由普通影像预训练模型迁移获得，并不具备遥感影像解译所需特性。   目前开源深度学习框架种类繁多(表 1)。国内中国科学院计算所推出了人脸识别深度学习框架Dragon[12]，清华大学发布了计图(Jittor)，百度、华为、旷世、一流科技等公司相继开源了PaddlePaddle、MindSpore、MegEngine及OneFlow等框架。在国外，早期蒙特利尔理工学院开源了Theano[13]、伯克利大学研发了Caffe[14]，日本首选网络研发了Chainer框架, Google、Facebook、Amazon等先后开源了Tensorflow[15]、PyTorch[16]、MXNet[17]等框架。虽然通用深度学习框架数目众多，但构建框架的核心技术呈收敛态势，包括：控制流与数据流及操作符与张量；计算图优化与自动梯度计算；执行引擎、编程接口、部署运维及分布式训练等。