Método de interpretação granulada de baixo custo para imagens de sensoriamento remoto baseado em segmentação de instâncias fracamente supervisionada

CHEN Man ,  

HUANG Yongjie ,  

XU Lei ,  

PAN Zhisong ,  

摘要

A segmentação de instâncias em imagens de sensoriamento remoto pode realizar simultaneamente a localização de objetos de interesse em nível de objetivo e a classificação em nível de pixel, sendo uma tarefa importante e altamente desafiadora. A maioria dos métodos atuais de segmentação de instâncias para imagens de sensoriamento remoto depende de anotações precisas no nível do pixel, cujo custo de produção é elevado. Além disso, o fundo misto e os contornos complexos dos objetos nas imagens de sensoriamento remoto também aumentam a dificuldade da segmentação. Para enfrentar esses desafios, este artigo constrói um sistema orientado por informações prévias adequado para a tarefa de segmentação de instâncias fracamente supervisionada em imagens de sensoriamento remoto, e propõe uma rede de segmentação de instâncias fracamente supervisionada baseada em múltiplas informações prévias. Especificamente, as informações prévias na tarefa de segmentação de instâncias fracamente supervisionada são classificadas de acordo com sua origem em priori de tarefa e priori de imagem, sendo que o priori de tarefa deriva da tarefa de detecção de caixas delimitadoras fortemente relacionada à segmentação de instâncias, enquanto o priori de imagem provém da indução e exploração das informações da própria imagem. Além disso, três componentes específicos foram projetados para concretizar as informações prévias da tarefa: restrição de consistência de projeção quadro-máscara, função de caracterização da dificuldade de distinção de pixels e restrição de priori de posição central, que impulsionam a rede a determinar o tamanho da máscara e a focar plenamente nos pixels e regiões chave da imagem; dois componentes foram projetados para construir as informações prévias da imagem: restrição de consistência visual de vizinhança e restrição de consistência de gradiente, que permitem que a rede distinga eficientemente o primeiro plano do fundo e se adapte aos contornos complexos dos objetos nas imagens de sensoriamento remoto. Os resultados experimentais em conjuntos de dados ópticos e SAR de imagens de sensoriamento remoto mostram que o método proposto alcança valores AP de 52,5 e 54,1 respectivamente sem necessidade de qualquer anotação no nível do pixel, superando os métodos atuais de segmentação fracamente supervisionada e alcançando 89,3% e 84,3% do Mask R-CNN totalmente supervisionado. O método pode fornecer uma solução de alto desempenho e baixo custo para interpretação granulada de imagens de sensoriamento remoto.

关键词

imagens de sensoriamento remoto; segmentação de instâncias; interpretação granulada; aprendizado fracamente supervisionado; informações prévias; sistema orientado; contornos de objetos; custo de anotação

阅读全文