Le machine learning en tant qu'aide dans - Vladimir Bagazov

Le machine learning
   en tant qu'aide dans
      les problématiques
               d'un scan 3D

             Lundi 3 octobre 2016

BAGAZOV Vladimir

Accessibilité

Objectif:

•   Pas de formules mathématiques
•   Pas de code

Des connaissances ?
Et si on partait plutôt du besoin ?

                                              03/10/2016   3

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   4

Quelques chiffres
                  Année de création

                                        1998
                                                                        Sites à Couëron
 Pôles
                                                                        et St Herblain

                    3                                       2
                                       ASR
                                      Informatique

CA en 2015 (K€)
                                                      17        Collaborateurs / Partenaires

                            841
                                                      +3
                                                                         03/10/2016        5

ASR : l’innovation permanente

           Innovation           Cas d’usage

       Reconnaissance de    Permet de numériser
2006    l’écriture via un      des documents
         crayon optique       immédiatement

       Reconnaissance des
                              Contrôle des CNI,
2012     caractères sur
                            passports, chèques …
       Smartphone Android

        Modélisation 3D
                                Plan 2D, 3D,
2016     temps réel sur
                              Conformité etc…
            tablette

                                                03/10/2016   6

Vladimir Bagazov

ASR-Informatique

Innovation   Infrastructure

                              03/10/2016   7

Equipe

ASR-Informatique

Innovation   Produit   Infrastructure

                                   03/10/2016   8

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   9

Présentation de SuriCAD
Au commencement : une anecdote…

                    Pour

                                                            Mais
 Qui

                                         Doit

                                                                              Donc
       Entreprise          Réaliser un          Prendre            Beaucoup          Marché
       menuiserie            devis              des cotes          demandes          perdu

                                                                                 03/10/2016   10

SuriCAD

Besoin                       Technologie       Solution
• Métré                      • Tango           • SuriCAD

                                                                Nuage de points

      Figure 1 : Illustration tablette tango                    03/10/2016   11

SURICAD

Figure 2 : Photo d’un scan en cours dans nos locaux
                                                           03/10/2016   12

Notre réponse : SuriCAD

Fonctionnalités :
   Calcul de surface
   Prise des cotes
   Génération de plan théorique 2D
   Validation Scan 3D avec plan 2D
   Contrôle dimensionnel
   Contrôle de complétude
   Connexions avec des logiciels du
    marché

                                       Figure 3 : Comparaison de distances mesurées (en haut)
                                                  réelles (en bas)           03/10/2016   13

Démarche proposée

Figure 4 : Exemple de plan embryonnaire   Figure 5 : Exemple de plan

                                                                       03/10/2016   14

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   15

Problématique : surfaces & ouvertures

Objectifs :
 Surface
    Comment calculez-vous la surface au sol dans le cas suivant ?

    Figure 6 : Scan automatique (à gauche) généré à partir du nuage de points (à droite)

     Faire bénéficier de cette information dans le plan 2D généré
                                                                           03/10/2016      16

Difficultés d’évaluer une absence

Les points permettent beaucoup de traitements et détections
    Détection de formes (mobilier)
    Clustering (selon couleur et modèle théorique)
    Etc.

Le problème :
   Une ouverture (une fenêtre ou un trou) => absence de points

Pas de points :
   • Pas de couleur      Figure 7 : Exemple de rectangle candidat
   • Pas de texture
   • Origine inconnue (trou réel ou scan incomplet)
                                                                    03/10/2016   17

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   18

Machine Learning

« L'émancipation de l'erreur est la condition de la
   connaissance réelle. » Henri-Frédéric Amiel

                                               03/10/2016   19

Démarche proposée

Nuage de point

Segmentation

                 Model Planaire

                                  Plan Vertical : mur isolé

                                  Extraction de rectangles
                                       (zones vides)

                                                          Rectangles

                                                     Extraction indicateurs

                                                                       Arbre de décision

                                                                     Base d’apprentissage

                                                                                            03/10/2016   20

La base de données
                                       support d’apprentissage
Constitution de la base de données
   Un nuage de points comportant des ouvertures (portes, fenêtres, …)
     Source : Jacob University

   Identification des ouvertures

   Cas intéressant : une fenêtre ouverte => double résultat (cadre + trou)

Attention : Certains algorithmes probabilistes => sensibilité à la proportion
                                                                       03/10/2016   21

Indicateurs

Indicateurs (features) :
1. surface du candidat
2. ratio hauteur/largeur
3. largeur candidat/largeur surface (mur)
4. hauteur candidat/hauteur surface (mur)
5. distance horizontale selon le bord gauche(mur)
6. distance horizontale selon le bord droit
7. distance verticale selon le bord haut
8. distance verticale selon le bord bas (mur)
9. distance moyenne entre les points et le périmètre du rectangle

                                                                    03/10/2016   22

Outils et Alogorithmes

Bibliothèques utilisées :

                  : The Point Cloud Library 3-clause BSD Licence
                                      PointCloud.org

                  : Orange GNU Licence

Algorithmes :

 Classification tree : modèle prédictif basé sur l’utilisation d’un arbre de décision
 Linear SVM (Support Vector Machine): machines à vecteurs de support.

     Apprentissage supervisé à partir d'une DB afin d’obtenir le paramétrage
      optimal pour un modèle donné.

                                                                          03/10/2016     23

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   24

Résultats

                               Matrices de confusions

Classification Tree sans SVM             Classification Tree avec SVM
                                                                   03/10/2016   25

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   26

Limites et Critiques

 Limites actuelles
  L’information issue uniquement des rectangles
  Base d’apprentissage trop petite
  Pas de prise en compte des connaissances métier
      Ex : Hauteur d’allège (distance sol - bas de fenêtre)
  Types spécifiques
      Ex: Vitrage quadrillé

                                                    Figure 8 : Photo d’ouverture quadrillée
D’autres Indicateurs :
 Variation intensité lumineuse (indoor/outdoor)
 Opacité infrarouge (le verre absorbe les IR)
 Heuristique d’occlusion (+ d’occlusion sur les mures que les fenêtres)
Sources : Automatic détection of Window Regions in Indoor Point Clouds Using R-CNN
                                                                                              03/10/2016   27

Plan

ASR Informatique

   Produit Scan 3D - SuriCAD

    Problématique à résoudre

     Machine Learning

    Quelques résultats

   Limites et critiques

Ouverture

                                  03/10/2016   28

Ouverture

Et maintenant…
 Amélioration de la construction de la base de données (interactivité)
 Combinaison des rectangles
 Ajout d’information sur l’environnement
    Plantes vertes
    Radiateur
    Rideaux
    Poignées

Des idées ?

                                                                 03/10/2016   29

Vladimir BAGAZOV
Chef de projet produit

vladimir.bagazov@asr-informatique.fr
+33 2 85 52 42 98
+33 6 70 18 99 28

                         MERCI !
                         Place aux questions

01/07/2016
    3
    0

Références

Références
 Arachchige et Maas, Automatic Building Facade Detection in Mobile Laser

  Scanner point Clouds (2012)

 Adan et Huber, 3D Reconstruction of Interior Wall Surfaces Under Occlusion

  and Clutter (2011)

 Hiller, Zhang, Tianhao Zhang, Zihao Zhang. Automatic Detection of Window

  Regions in Indoor Point Clouds Using R-CNN (2014)

 Girshick Donahue Trevor Darrell Jitendra, Rich feature hierarchies for accurate

  object detection and semantic segmentation (2014)

                                                                     01/07/2016     31

Domaines d’application

                    01/07/2016   32

MERCI !       Nous sommes à votre
              disposition pour toute
ASR 2 Sites   information complémentaire

              Michel CHATY
              Contact contractuel
              +33 (0)6 14 39 49 33
              michel.chaty@asr-informatique.fr

              Lionel MATHIEU
              Contact commercial
              +33 (0)6 76 53 84 69
              lionel.mathieu@asr-informatique.fr

              ASR (Siège)
              Le Tertre Saint-Yves
              44220 Couëron

Autres exemples

             01/07/2016   19

Autres exemples

             01/07/2016   20

Autres exemples

             01/07/2016   21