Sentinel-2 et SPOT 6/7 pour la segmentation sémantique de l'occupation du sol - Utilisation de données

Utilisation de données
Sentinel-2 et SPOT 6/7 pour la
segmentation sémantique de l'occupation du sol

 Olivier STOCKER, Arnaud LE BRIS

Objectifs

 • Mise en place d’une approche par apprentissage profond pour la SegSem
 • Analyse d’enrichissement des nomenclatures OCS
 • Produits d’OCS urbains
 • Identification d’une complémentarité SPOT / S2
 • Stratégies de fusion entre SPOT et S2

 TEMU 2020 3

/
• Mise en place d’une architecture
• Analyse d’enrichissement de nomenclatures
• Produits d’OCS urbains
• Comparaison capteurs
• Fusion de données

 TEMU 2020 4

Architecture précédemment utilisée
Architecture CNN proposée par [Postadjian & al., 2017]
 ◦ 110k paramètres entraînables (architecture légère)

 Source : [Postadjian & al., 2017]

Approche fenêtre glissante :
 ◦ classification d’une imagette de 65x65 pixels pour chaque pixel
 de la carte de prédiction

Inconvénient : Faible conservation information spatiale
 Fonctionnement de l’approche par fenêtre glissante

 TEMU 2020 5

Architecture proposée
Architecture entièrement convolutive Conçue pour conserver information spatiale d’une
 ◦ 1300k paramètres entraînables donnée pas si résolue:
 ◦ Connexions directes (‘skip’)
Basée sur architectures : ◦ Transfert des indices de pooling
 ◦ U-NET [Ronneberger & al., 2015] ◦ Faible champ réceptif
 ◦ Deconv-NET [Noh & al., 2015]

 TEMU 2020 6

Hyperparamètres
Fonction Loss : Learning rate :
 ◦ Entropie croisée pondérée ◦ Start : 10−2
 ◦ Step : 50 époques
 , = (− + log⁡( exp⁡( )))
 ◦ γ : 0.7
 ◦ Pondération des classes :
 0, ⁡ = 0
 = ⁡
 1
 , 
 
Optimiseur :
 ◦ Adam, HP par défauts [Kingma and Ba, 2014]

Weight decay :
 ◦ Retiré car incompatibilité avec Batch-Norm [Ioffe
 and Szegedy, 2015]

 TEMU 2020 7

Validation expérimentale
 RÉGION D’INTÉRÊT DONNÉES
 Images satellites : Diffusion du Pôle Théia
 ◦ SPOT-6/7
 ◦ Sentinel-2

 Vérité terrain issue de produits d’OCS :
 ◦ BD Topo, RPG, Urban Atlas, OCS-GE, BD Ortho

 Répartition de la vérité terrain
 Entrainement Validation Test
 64 % 16 % 20 %
 Régions d’intérêt encadré en rouge

 TEMU 2020 8

Validation de l’architecture

 Image SPOT VT Fenêtre glissante Entièrement convolutive

Résultats : F score moyen
 ◦ Meilleure gestion de l’information spatiale THR SPOT Architecture OA (%) (%)
 ◦ Rapidité d’entrainement Fenêtre glissante 92,0 85,0
 Entièrement convolutive 93,3 91,0
  Convergence en 2h contre 11h précédemment

 TEMU 2020 9

Validation de l’architecture

 TEMU 2020 10

Validation de l’architecture

 TEMU 2020 11

Validation de l’architecture

 TEMU 2020 12

/
• Mise en place de l’architecture
• Analyse d’enrichissement de nomenclatures
• Produits d’OCS urbains
• Comparaison capteurs
• Fusion de données

 TEMU 2020 13

Analyse de nomenclatures ++
 Nomenclatures axées THR SPOT
Conclusions de l’analyse :
 1. Erreurs liées à l’enrichissement de nomenclatures principalement intra-classes
 SegSem par CNN stable

 2. Pour segmentation sémantique efficace :
 Plus nomenclature fine, plus nécessite VT qualité
 Textures uniques pour chaque classe

Image SPOT VT Inférence selon 18 classes

 TEMU 2020 14

/
• Mise en place de l’architecture
• Analyse d’enrichissement de nomenclatures
• Produits d’OCS urbains
• Comparaison capteurs
• Fusion de données

 TEMU 2020 15

Inférence d’Urban Atlas
Objectif : extraction niveaux densité d’urbanisation
 Lié à la présence de bâtiments : potentiel de télédétection fort

 Image SPOT VT Inférence

Résultats :
 ◦ Détection tâche urbaine efficace
 ◦ Notions de gradients de densité floues
 ◦ Difficulté construction frontières humainement logiques

 TEMU 2020 16

Inférence d’Urban Atlas
Objectif : extraction niveaux densité d’urbanisation
 Lié à la présence de bâtiments : potentiel de télédétection fort

 Image SPOT VT Inférence

Résultats :
 ◦ Détection tâche urbaine efficace
 ◦ Notions de gradients de densité floues Nécessité d’un champ réceptif plus large
 ◦ Difficulté construction frontières humainement logiques

 TEMU 2020 17

Amélioration détection végétation urbaine
◦ VT créée à partir de BD et
 de classifications par méthode classique non profonde depuis ortho-images et MNS (d’ancienneté 6 ans)
◦ Complexification de nomenclature avec distinction végétation haute/basse

 Image SPOT VT initiale Pseudo-VT

 TEMU 2020 18

Amélioration détection végétation urbaine
Avec VT initiale issue de la BD Topo

 Image SPOT VT initiale Inférence avec VT initiale

 TEMU 2020 19

Amélioration détection végétation urbaine
Avec Pseudo-VT issue de la BD Topo et enrichie par résultats classification (ancienneté 6 ans)

 Image SPOT Pseudo-VT Inférence avec pseudo-VT

 TEMU 2020 20

/
• Mise en place de l’architecture
• Analyse d’enrichissement de nomenclatures
• Produits d’OCS urbains
• Comparaison capteurs
• Fusion de données

 TEMU 2020 21

Comparaison capteurs SPOT et Sentinel-2

Entre THR et MS uniquement

◦ Une seule date S2, mais dates d’acquisition proches :
  SPOT : fin Juin 2018
  S2 : Juillet 2018 (synthèse mensuelle)

◦ Résolution spatiale identique = contexte équivalent
  Suréchantillonnage de S2 à 1,5m
  Mais utilisation de toutes les bandes S2 à 10 ou 20 m

 TEMU 2020 22

Comparaison capteurs
(%) IoU
 Eau Cultures Chemins Rts principales Aérodromes Parkings Cimetières Tps bts Résidentiel
 SPOT 86,7 93,7 12,7 65,0 42,1 69,9 30,2 64,3 56,9
 S2 86,2 91,8 5,4 60,9 39,0 70,4 21,7 55,9 50,0
 Conifères Feuillus Forêts ouvertes Haies Landes Peupleraies Vergers Vignes Industriel
 SPOT 37,0 80,6 9,0 44,3 26,1 27,9 2,3 85,0 46,0
 S2 35,3 80,1 5,0 42,9 26,3 26,1 3,6 11,1 48,7

 A priori sur potentiel de complémentarité SPOT / S2
 Tampons bâtiments + Feuillus +
 Eau + Forêts ouvertes ?
 Cultures ++ Haies ++
 Chemins ? Landes +++
 Routes principales +++ Peupleraies ?
 Aérodromes +++ Vergers ? Légende :
 ? : aucun a priori
 Parkings +++ Vignes + + : apport faible
 Cimetières + Résidentiel + ++ : apport significatif
 Conifères +++ Industriel +++ +++ : apport majeur

 TEMU 2020 23

Comparaison capteurs
Conclusions :
 ◦ SPOT :
  Frontières plus précises entre objets
  Meilleure lecture des textures

 ◦ Sentinel 2 :
  Meilleure détection matériaux à
 propriétés optiques particulières

Difficultés de conclusions sur la
complémentarité

 Image SPOT VT Inférence S2 Inférence SPOT

 TEMU 2020 24

Comparaison capteurs
 Image SPOT Image S2 Image SPOT Image S2

Inférence SPOT Inférence S2 R V B PIR Inférence SPOT Inférence S2 R V B PIR

 TEMU 2020 25

Comparaison capteurs
 Image SPOT VT Image SPOT VT

Inférence SPOT Inférence S2 R V B PIR Inférence SPOT Inférence S2 R V B PIR

 TEMU 2020 26

Comparaison capteurs
 Image SPOT VT Image SPOT VT

Inférence SPOT Inférence S2 toutes bandes Inférence SPOT Inférence S2 toutes bandes

 TEMU 2020 27

/
• Mise en place de l’architecture
• Analyse d’enrichissement de nomenclatures
• Produits d’OCS urbains
• Comparaison capteurs
• Fusion de données

 TEMU 2020 28

Architecture proposée pour la fusion
Architecture inspirée de FUSE-NET [Hazırbaş et al., 2016] :
 ◦ 2 Encodeurs avec sorties concaténées avant dernier étage
 ◦ Encodeur HD : connexions résiduelles vers le décodeur

Restrictions actuelles : Images à même résolutions

 3 types de fusion :
 ◦ Tardif avec cartes de segmentation (CS)
 ◦ Tardif avec probabilités (Pro)
 ◦ Précoce avec images (Img)

 TEMU 2020 29

Fusion des capteurs Evolution du score mIoU au
 cours des époques pour les
 méthodes CS, Pro et Img

Données fusion issues de l’architecture individuelle proposée

 CS
(%) mIoU OA IoU
 Tampons Eau Cultures Routes Végétation Bâtiment
 S2 64,1 88,7 49,1 80,1 92,3 46,6 79,1 37,6
 SPOT 76,8 93,0 65,7 83,5 94,8 66,9 84,7 65,3
 Fusion CS 77,9 93,2 66,6 84,7 95,3 69,0 84,1 67,4
 Fusion Pro 78,6 93,5 66,1 86,1 95,7 71,3 84,4 68,0

 Pro
 Fusion Img 77,7 93,5 66,9 84,9 95,8 68,1 85,4 65,3

Conclusions :
 ◦ Approches fusion > approches individuelles
 ◦ Fusion tardive :
  Entrainements plus rapide

 Img
  Architecture surdimensionnée
 ◦ Fusion précoce
 ◦ Architecture non optimisée

 TEMU 2020 30

Fusion des capteurs
 Meilleure détection des bâtiments industriels
 Confirme a priori

 Image S2 Inférence S2 Inférence SPOT Inférence SPOT

 VT Inférence fusion CS Inférence fusion Pro Inférence fusion img

 TEMU 2020 31

Fusion capteurs
 Image SPOT VT Image SPOT VT

Inférence SPOT Inférence S2 toutes bandes Inférence SPOT Inférence S2 toutes bandes

 TEMU 2020 32

Fusion capteurs
 Image SPOT VT Image SPOT VT

Inférence SPOT Fusion Inférence SPOT Fusion

 TEMU 2020 33

Reclassification du produit OSO
Fusion tardive dans un contexte d’inaccessibilité à la donnée originel de la classification à
améliorer
 Image SPOT (non contractuelle)
 Produit OSO reclassifié

 Produit OSO

 TEMU 2020 34

Reclassification du produit OSO
Exemple de correctif du produit OSO par fusion tardive OSO/SPOT

 Produit OSO Produit OSO reclassifié

 VT sur fond d’image SPOT Image SPOT

 TEMU 2020 35

Conclusions
 /

 TEMU 2020 36

Conclusions et perspectives
Analyse Complémentarité SPOT S2 :
 • THR SPOT bénéficie à toutes les classes
 Délimitation et analyse de texture
 • Conclusions non définitives sur la complémentarité
 Ex: dans certains cas, impossible de conclure sur la bonne classe de végétation

Prototypage de la fusion :
 • Meilleure détection globale

Gain en modularité :
 • Propriété de stabilité de la SegSem :
 Production produit OCS à nomenclature très fine → Fusion de classes suivant besoin utilisateur
 • Rapidité entrainement et performance modèles fusion probabilités :
 Production BD cartes probabilités → Fusion en en fonction besoin utilisateur

 TEMU 2020 37

Conclusions et perspectives
Quelles utilisations pour les classifications obtenues ?
 • Amélioration inférences SPOT
 • Génération produits CS complets – Applications :
  Amorces de mise à jour, détection de changement
  Analyse spatiale pour déduire cartographie des morpho-types urbains (Urban Atlas)

 Classification 6 classes Classification à partir d’indices multi-échelles Urban Atlas
 dérivés de la classif 6 classes

 TEMU 2020 38

Conclusions et perspectives
Perspectives méthodologiques
Adaptation architectures :
 ◦ Fusion tardive : réduction nombre de paramètres
 ◦ Fusion précoce : intégration dimension temporelle capteur S2

 … mais aussi possibilité de plusieurs sorties : multi-tâches

 TEMU 2020 39

Merci de votre attention
Bibliographie :
[Hazırbaş et al., 2016] Hazırbaş, C., Ma, L., Domokos, C., and Cremers, D. (2016). Fusenet : Incorporating depth into
semantic segmentation via fusion-based cnn architecture.
[Inglada et al., 2017] Inglada, J., Vincent, A., Arias, M., Tardy, B., Morin, D., and Rodes, I. (2017). Operational high
resolution land cover map production at the country scale using satellite image time series. Remote Sensing, 9(1).
[Noh et al., 2015] Noh, H., Hong, S., and Han, B. (2015). Learning deconvolution network for semantic segmentation.
CoRR, abs/1505.04366.
[Postadjian & al., 2017] T. Postadjian, A. Le Bris, H. Sahbi, et C. Mallet, “Investigating the potential of deep neural
networks for large-scale classification of very high resolution satellite images,” ISPRS Annals of the Photogrammetric,
Remote Sensing and Spatial Information Sciences, vol. IV-1-W1, pp. 183–190, 2017.
[Ronneberger & al., 2015] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for
biomedical image segmentation. In International Conference on Medical image computing and computer-assisted
intervention (pp. 234-241). Springer, Cham.

 TEMU 2020 40

Produits existants
 Analyse capacité de l’architecture sur nomenclatures produits existants :
i. OCS-GE CS
ii. OCS-GE US
iii. Urban Atlas

 VT continue :
 Sensibilité accrue au décalage temporel entre image et VT

 TEMU 2020 41

i. OCS-GE Couverture du sol
 Vérité terrain : OCS-GE 2016 issue ortho-images acquises en 2013
 5 ans d’écart avec image SPOT (Juin 2018)

 Image SPOT OCS-GE CS (VT) Inférence

Résultats :
 ◦ prometteurs malgré le décalage temporel mIoU (%) OA (%)
 ◦ Scores impactés par sous-représentation 41,73 81,57 Matrice de confusion, VT
 de certaines classes dans VT Métriques de tests globales colorisation selon la précision
 Prédiction

 TEMU 2020 42

Apprentissage
 i. OCS-GE Couverture du sol

 Si évolution CS non aléatoire :
 Biais d’apprentissage
 Entraine erreurs de SegSem
Test

 Image SPOT OCS-GE CS (VT) Inférence

 TEMU 2020 43

ii. OCS-GE Usage du sol

Image SPOT OCS-GE US (VT) Inférence

 Résultats faibles :
 Classes à faible potentiel de télédétection
 Usage du sol = texture similaires entre classes
 Matrice de confusion, VT
 Architecture inadaptée : colorisation selon la précision
 Prédiction
 ◦ Peu profonde mIoU (%) OA (%)
  impossibilité créer des attributs de haut niveau 35,89 81,53
 ◦ Faible champ réceptif Métriques de tests globales
  se concentre sur texture et pas sur contexte

 TEMU 2020 44