Perspectives en IA pour Robotique - ONERA Stéphane Herbin Département Traitement de l'Information et Système - Global Industrie
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Perspectives en IA pour Robotique
Stéphane Herbin
Département Traitement de l’Information et Système
ONERA
7 mars 2019 Etats Généraux de la Robotique – S. HERBIN
IA et Robotique
• Que peut-on faire avec de l’IA (dans les labos)?
• Comment et pourquoi ça marche?
IA et Robotique – S. HERBIN
• Peut-on l’utiliser? (Est-ce mature?)
Vision par ordinateur comme fil conducteur
7 mars 2019
2
Intelligence artificielle
IA et Robotique – S. HERBIN
7 mars 2019
https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
3
IA = « Machine Learning »
« Model based programming » (avant)
IA et Robotique – S. HERBIN
Vs.
« Data driven training » (maintenant)
7 mars 2019
4
Evolution de l’activité en IA
Machine Learning
Neural networks
IA et Robotique – S. HERBIN
Computer Vision
7 mars 2019
AI: How knowledge is created, transferred, and used, 2018, Elsevier.
5
Machine Learning
De multiples modalités
• Supervised
IA et Robotique – S. HERBIN
• Unsupervised
• Reinforcement
• Imitation
• Transfer Learning
• Active
• Zero/One shot
• Continual
7 mars 2019
• Self-supervised
• …
6
La révolution du Deep Learning
Classification d’images (compétition ILSVRC ImageNet)
IA et Robotique – S. HERBIN
7 mars 2019
ConvNet / non-ConvNet Figure extraite de LeCun @ CVPR'2015
Deep Learning: Raisons du succès
Données Algorithmes
IA et Robotique – S. HERBIN
Moyens de calcul Logiciels
7 mars 2019
L’apprentissage passe à l’échelle sur des problèmes complexes!
Réseaux profonds: couches et connexions
GoogLeNet [2014]
IA et Robotique – S. HERBIN
U-Net [2015]
DenseNet [2016]
7 mars 2019
Bases de données massives (« B2C »)
• Images
IA et Robotique – S. HERBIN
• Véhicule autonome
• Langage
7 mars 2019
• Médical
10DL: une démarche algorithmique standardisée
• Architecture de réseau
– Couches (convolutives, entièrement connectées, récurrentes, Relu…)
– Graphe (relations, opérations)
• Fonction objectif
IA et Robotique – S. HERBIN
– Erreur quadratique, Entropie…
– Coût ou récompense moyenne
• Optimisation
– Gradient stochastique (avec pas fixe ou adapté)
– Régularisation / Batch
– Exploration/Exploitation
• Données
– Apprentissage (= optimisation)
7 mars 2019
– Test/Evaluation/Vérification
11Le DL permet le « End to End »
IA & Robotique – S. HERBIN
• Unifier toutes les étapes sous un seul formalisme
• Distribution collaborative des calculs
7 mars 2019
• Programmation globale par les données
12Deep Learning pour la robotique
Mostly in Robotics
• Communauté robotique
assez réticente au départ
IA et Robotique – S. HERBIN
• Mais intérêt depuis 2016
(CORL, Workshop IROS, CVPR)
7 mars 2019
Sünderhauf, N., Brock, O., Scheirer, W., Hadsell, R., Fox, D., Leitner, J., & Corke, P. (2018). The limits and
potentials of deep learning for robotics. The International Journal of Robotics Research, 37(4-5), 405-420.
1314
7 mars 2019 IA et Robotique – S. HERBINPour quelles fonctions?
• Description de scènes
– Dense (profondeur, flot, sémantique, 3D)
– Objets (localisation, pose, relations)
– Structure
IA et Robotique – S. HERBIN
• Association de données
– Navigation/Localisation/Mapping/Odométrie
Revisite façon DL
– Tracking
• Boucles sensori-motrices
– Commande basée perception (« end to end »)
– Grasping
• Interaction
– Requête/Instruction par le langage naturel
7 mars 2019
15Détection d’objets
• Yolo, Mask-RCNN
IA et Robotique – S. HERBIN
7 mars 2019
16 He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017). Mask r-cnn. CVPR.Estimation de pose
IA et Robotique – S. HERBIN
7 mars 2019
https://github.com/tensorflow/tfjs-models/tree/master/posenet
Papandreou, G., Zhu, T., Kanazawa, N., Toshev, A., Tompson, J., Bregler, C., & Murphy, K.
17 (2017). Towards accurate multi-person pose estimation in the wild. CVPR.Reconstruction 3D d’objet
IA et Robotique – S. HERBIN
7 mars 2019
Jiajun Wu, Yifan Wang, Tianfan Xue, Xingyuan Sun, William T. Freeman, and Joshua B.
18
Tenenbaum , MarrNet: 3D Shape Reconstruction via 2.5D Sketches, NIPS 2017Description globale de scène
Segmentation sémantique de nuages de points
Etats Généraux de la Robotique
– S. HERBIN
7 mars 2019
Boulch, A., Guerry, J., Le Saux, B., & Audebert, N. (2018). SnapNet: 3D point cloud semantic
19 labeling with 2D deep segmentation networks. Computers & Graphics, 71, 189-198.Vision géométrique
Matrice fondamentale
IA et Robotique – S. HERBIN
7 mars 2019
Poursaeed, O., Yang, G., Prakash, A., Fang, Q., Jiang, H., Hariharan, B., & Belongie, S.
20
(2018). Deep Fundamental Matrix Estimation without Correspondences. In ECCV.Localisation
IA et Robotique – S. HERBIN
7 mars 2019
Noha Radwan, Abhinav Valada, Wolfram Burgard, VLocNet++: Deep Multitask Learning for Semantic
21 Visual Localization and Odometry, IEEE Robotics and Automation Letters (RA-L), 2018.Navigation
Next gate pose
7 mars 2019 IA et Robotique – S. HERBIN
Next gate pose variance
Kaufmann, E., Gehrig, M., Foehn, P., Ranftl, R., Dosovitskiy, A., Koltun, V., &
Scaramuzza, D. (2018). Beauty and the Beast: Optimal Methods Meet Learning
22 for Drone Racing. arXiv preprint arXiv:1810.06224.Suivi d’objet (Tracking)
IA et Robotique – S. HERBIN
7 mars 2019
Choi, J., Jin Chang, H., Fischer, T., Yun, S., Lee, K., Jeong, J., & Young Choi, J. (2018). Context-aware
23
deep feature compression for high-speed visual tracking. CVPR.Grasping
IA et Robotique – S. HERBIN
• 7 real-world robots, 800 hours, 1000 different
objects. 580,000 grasp attempts.
• 96% of good grasp attempts across 700 trial
grasps on previously unseen objects.
7 mars 2019
• The policy takes a camera image and returns
how the arm and gripper should move.
Kalashnikov, D., Irpan, A., Pastor, P., Ibarz, J., Herzog, A., Jang, E., ... & Levine, S. (2018). Scalable Deep
24 Reinforcement Learning for Vision-Based Robotic Manipulation. In Conference on Robot Learning.« Multi-tâche » (= transfert entre tâches)
IA et Robotique – S. HERBIN
7 mars 2019
25 http://taskonomy.stanford.edu/« Multi-tâche » (= transfert entre tâches)
IA et Robotique – S. HERBIN
7 mars 2019
26 http://taskonomy.stanford.edu/Relations entre objets
7 mars 2019 IA et Robotique – S. HERBIN
Li, Y., Ouyang, W., Zhou, B., Wang, K., & Wang, X. (2017). Scene graph generation
27 from objects, phrases and region captions. CVPR.Description sémantique
7 mars 2019 IA et Robotique – S. HERBIN
Krishna, R., Hata, K., Ren, F., Fei-Fei, L., & Carlos Niebles, J. (2017). Dense-
28
captioning events in videos. In CVPR.Visual Question Answering
7 mars 2019 IA et Robotique – S. HERBIN
Yang, Z., He, X., Gao, J., Deng, L., & Smola, A. (2016). Stacked attention
networks for image question answering. CVPR.
29Navigation sémantique interactive
IA et Robotique – S. HERBIN
Das, A., Datta, S., Gkioxari, G.,
Lee, S., Parikh, D., & Batra, D.
7 mars 2019
(2018). Embodied question
answering. In CVPR.
30Embarquabilité: réduction d’architecture
IA et Robotique – S. HERBIN
7 mars 2019
MobileNetV2: Inverted Residuals and Linear Bottlenecks, Sandler M, Howard A, Zhu M,
31 Zhmoginov A, Chen LC. arXiv preprint. arXiv:1801.04381, 2018.Intégration
• Modularité native
• Unification du formalisme (réseaux de neurones)
IA et Robotique – S. HERBIN
• Partage des apprentissages (ex. caractéristiques d’images
profondes, « fine tuning »)
• « End-to-End » et Multi-tâche
• Environnements logiciels + communauté
7 mars 2019
32Ce que permet le « Deep Learning »
• Domaines d’usage étendus
• Passage à l’échelle
IA et Robotique – S. HERBIN
• Combinaison de modalités facilitée (image, texte,
son, actions…)
• Intégration « facile »
• Algorithmes parallèles
7 mars 2019
• Fonctions complexes deviennent performantes
33IA et Robotique – S. HERBIN
Sortir des labos…
UTILISER LE DEEP LEARNING?
7 mars 2019
34Modélisation Economie de la donnée
• Collecter
• Annoter
• Créer / Acquérir
IA et Robotique – S. HERBIN
• Qualifier
• Protéger
• Mettre en forme/Stocker/Organiser/Indexer
• Evaluation vs. Apprentissage
Activité très coûteuse!
7 mars 2019
35Données: on n’en a jamais assez!
• Génération
– Generative Adversarial Networks (GAN)
– Synthèse
IA et Robotique – S. HERBIN
• Transfert
– Intérieur Extérieur, Jour Nuit, RGB IR
– Monde artificiel (jeux) monde physique
– Données synthétiques données réelles
7 mars 2019
– Sémantique numérique
36GAN: Transfert de style
IA et Robotique – S. HERBIN
7 mars 2019
Jun-Yan Zhu, Taesung Park, Phillip Isola, and Alexei A. Efros. "Unpaired Image-to-Image Translation
37 using Cycle-Consistent Adversarial Networks", ICCV, 2017.Génération conditionnelle de données
7 mars 2019 IA et Robotique – S. HERBIN
Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2018). Progressive Growing
of GANs for Improved Quality, Stability, and Variation. ICLR.
38Adaptation de domaine / contexte
IA et Robotique – S. HERBIN
7 mars 2019
Carvalho, M., Le Saux, B., Trouvé-Peloux, P., Almansa, A., & Champagnat, F. (2018). Deep Depth from Defocus: how can defocus blur
39
improve 3D estimation using dense neural networks?. In European Conference on Computer Vision (pp. 307-323).40
7 mars 2019 IA et Robotique – S. HERBINPerformances
IA et Robotique – S. HERBIN
Perf.
Humaine
Performances dépendent des fonctions, des bases de données et des critères
d’évaluation
7 mars 2019
Difficile de savoir ce que valent vraiment les algorithmes
Liu, L., Ouyang, W., Wang, X., Fieguth, P., Chen, J., Liu, X., & Pietikäinen, M. (2018).
41 Deep learning for generic object detection: A survey. arXiv preprint arXiv:1809.02165.Bases de données
• Quel rôle?
– Apprentissage: définir le domaine d’usage (en extension et
densité)
IA et Robotique – S. HERBIN
– Evaluation/test: comparer et valider les algorithmes
(benchmark)
• Questions difficiles (= sans réponse claire):
– Domaine d’usage: quelles données le définisse?
– Evaluation: Quelles métriques? Quelles valeurs viser? Quel
enseignement tirer des échecs?
7 mars 2019
42Instabilité des réseaux
IA et Robotique – S. HERBIN
• Exemples adversariaux: de petites perturbations spécifiques peuvent
avoir un grand impact (classification)
• Est-ce un vrai problème?
– Oui: c’est lié à la grande dimension des données et des réseaux.
– Oui: si c’est volontaire (attaque).
7 mars 2019
– Non: c’est forcé (non « naturel ») et potentiellement détectable.
43Explicabilité
• Un moyen pour comprendre pourquoi ça marche
(ou pas).
• Améliorer le compromis Explicabilité/Performance.
• Pour qui?
IA et Robotique – S. HERBIN
7 mars 2019
4445
Expliquer: quoi et comment?
7 mars 2019 IA et Robotique – S. HERBINChaînes explicables par conception
7 mars 2019 IA et Robotique – S. HERBIN
Forcer la chaîne de traitement à contenir une partie sémantique interprétable
Semantic bottleneck for computer vision tasks, Maxime Bucher, Stéphane
46 Herbin, Frédéric Jurie, ACCV 2018 (Oral)Garantir/certifier les composants IA ?
• Définir un domaine d’usage
– Base d’apprentissage: quelles caractéristiques?
– Détecter les sorties de domaine?
IA et Robotique – S. HERBIN
• Assurer la robustesse
– Invariance aux perturbations
– Architecture fonctionnelle (redondance, gestion des conditions
d’utilisation, détection des « hazards », mitigation)
• Donner confiance dans le bon fonctionnement
– Benchmarks et prédiction de performances
– « Explicabilité »
7 mars 2019
• Un « data sheet » pour les composants IA?
47Deep Learning: limitations
• Ca marche mais…
– Paramètres réseaux > #exemples: statistiquement contre-intuitif
– Garanties théoriques limitées (« Deep Scattering », « Information
IA et Robotique – S. HERBIN
bottleneck »)
– Opacité / complexité explicabilité (problématique en devenir).
– Dépendance aux données: évolutivité et contextualisation délicates.
– Prédiction de performance peu fiable (signification des métriques
statistiques, biais des benchmarks, systèmes en boucle fermée)
– Instabilités (exemples adversaires)
7 mars 2019
48Conclusion
« Deep Learning » = incontournable
– Eco-système scientifique et technique très actif
– Des résultats spectaculaires
Utilisation
IA et Robotique – S. HERBIN
– Deep Learning « intégral ». Attirant mais encore complexe à maîtriser.
– Intégrer des composants. Que valent-ils pour le contexte visé?
Les données
– Impossible sans. Y penser dès le début des projets. Coûteux!
– Apprentissage vs. Validation: des rôles différents
Est-ce mature?
– Pas encore pour les applications critiques (manque de garanties)
– Sûreté/utilisablité/explicabilité deviennent des problématiques scientifiques.
7 mars 2019
49Vous pouvez aussi lire
