Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL

La page est créée Jean Etienne
 
CONTINUER À LIRE
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Robotique : Une approche
de test logiciel innovante
JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Introduction

                                                      SoftbankRobotics Europe (SBRE),
           Arnaud Chabrerie                            anciennement Aldebaran, fondée en 2005 est le
           Directeur QA Software SBRE                  pionnier de la robotique en France
           arnaud.chabrerie@softbankrobotics.com

                                                      SBRE se concentre sur la robotique humanoïde
                                                       avec ses 2 principaux robots : Pepper & NAO

                                                      Cognizant intervient chez SBRE depuis février
           David Van Inghelandt                        2017 et réalise les activités dans son centre de
           Program Manager Cognizant                   service QA de Grenoble grâce à une
           david.vaninghelandt@cognizant.com
                                                       organisation d’équipes Onsite / Nearshore

2   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Transition d’une startup à une approche de test industrialisée
Du prototype au marché mondial

        NAO pour l’éducation                   Pepper B2B (Softbank                      Multiplication des cas                  Pepper B2B
          et la recherche                         Mobile Shops)                       d’usage pour Pepper & NAO                   en Chine

                                                                                              2017
                                                                                       Partenariat avec
                                                                                          Cognizant

          2005                  2007                      2014                2015                        2018           2019          2019
    Création d’Aldebaran   Lancement NAO sur         Lancement Pepper       Disponibilité            Lancement NAO6 Lancement Pepper   China
     démarrage avec le         le marché            1.0 Pour SoftBank au Mondiale de Pepper                               1.9          Market
         robot NAO                                         Japon                 1.5

                            Les robots sont certifiés et déployables dans 50 pays
3   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Transition d’une startup à une approche de test industrialisée
Les axes de développement
SBRE a travaillé sur différents axes pour répondre aux nouveaux cas d’utilisation et faire face à l’accroissement
des ventes et des clients :

                                          Optimisation
                                                                 Revoir
    Optimisation sur les différentes          de la                           Repenser et adapter
                                                             l’approche de
                 typologies de test       couverture de                       l’automatisation
                                                                  test
                                              test

          Transition d’une approche
                                          Amélioration
                                                                Changer       Forfaitisation de l’activité
    startup à une approche de tests                          l’organisation
                                           continue                           avec Cognizant
                       industrialisée                              QA

Cette présentation illustre les actions mises en place par SBRE pour rester leader sur le marché de la robotique

4   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Identification des différentes typologies de tests
                                                Tests tablette
Tests similaires au mobile                      Affichage, résolution
                                                Upgrade firmware tablette

                           Tests réseau
                              Sécurité wifi
    Réseau dégradé (wifi, bande passante,       Tests Android
            temps de réponse, coupures)         Upgrade, vérification de l’intégration
                             Filaire et Wifi    d’Android sur la tablette (fonctionnement
                                                du clavier…)

                                                Tests applications
                                                Tests des applications mobiles qui
                                                interagissent avec le robot

5      JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Identification des différentes typologies de tests

Tests cloud           Tests monitoring             Tests store applicatif
                      RHM, Salesforce, Robot       Workflow de soumission
                      Service                      des applications
                                                   Gestion des APK et PKG

                      Tests gestion flotte          Tests de sécurité
                      Web, déploiement
                      d’application, gestion des
                      licences et habilitations

6   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Identification des différentes typologies de tests

Tests plateformes de développements
                            Tests choregraphe
                            Affichage, robot virtuel
                            Interactions (upgrade)
                            Tests sous 3 OS

                            Tests Android studio
                            Plugin spécifique

                            Tests SDK
                            Non régression sur une application de
                            test pour vérifier les différentes
                            fonctionnalités du SDK

7   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Identification des différentes typologies de tests

Tests spécifiques à la robotique
                Motion                       Speech                                Vision

      Contrairement aux systèmes d’information, la robotique humanoïde réagit à l’environnement
      physique extérieur et au hardware du robot
                   On teste avant tout un usage, pas uniquement un software
8   JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Création d’une « Product validation »

                  Recentrer les tests sur la vision des utilisateurs

                     Transformation    Mise en place
    Récolte des                                         Partage du      Product
                     en scénarios et   des conditions
    cas d’usage        cas de test      d’exécution
                                                        référentiel    Validation

9    JFTL 2019
Robotique : Une approche de test logiciel innovante - JFTL 2019 - CFTL
Optimisation de la couverture de test
Reformulation des besoins de tests
         WHY ?
                                                                        Test subject tracked
  Exchange information                                                walks at a fixed step rate
        with user

         WHAT ?

Using a natural interaction   Criterias                      D = [2m, 5m]
         with user            User is not
                                lost and
                              stays in the
         WHEN ?                                                                                    6m
                              robot FOV

 When the user enters the     No Jerky       Interaction
    interaction zone           head or
                                                Zone
                                body                                                                    Ok, start
                              movement                                                                  walking!
         HOW ?
                                Hatch
 Using Human Detection,       Closed and
                               Opened                      Attract
   Engagement, Human                                        Zone
Tracking, and Discuss/Chat

10    JFTL 2019
Automatisation
 Une nouvelle approche de test
 Les contraintes liées à l'automatisation

                   Robot           Améliorations
                  physique          techniques
                                                           Recentrer sur les phases amonts :
                                                           tests unitaires & tests d’intégrations

                         Environnement         Capteurs
                            variable           physiques

                                                               Photos : la reconnaissance de visage, de
                                                               sexe et d’âge
Exemples de bénéfices sur les tests d'intégration
                                                               Sons : la reconnaissance vocale
          et leurs automatisations via injections

 11   JFTL 2019
Automatisation
 Une nouvelle approche de test

La mise en place des « Sanity » quotidiens

                                                     Continuous
                                                                                                       Versioning
                                                     Integration        • Exécutions via des
                                              • Incorporation dans la     machines virtuelles   • Révision de la gestion
                  • Révisions et focus
                                                chaine d’intégration      pour simuler les        du versioning des
                    sur les tests critiques
                                                continue                  différents              tests et
                                                                          environnements          synchronisation avec
                                                                                                  les versions OS du
                                                                                                  robot
                                                                                Machines
                             Criticité
                                                                                virtuelles

Les impacts sur la « Product validation »
• Les améliorations amonts augmentent le niveau de qualité en entrée des « Product Validation »
• Focus sur les tests utilisateurs sans anomalies parasites

 12   JFTL 2019
Amélioration continue
Industrialisation et optimisation

Industrialisation des tests d'intégration
•    Exécution à blanc des tests par Cognizant
•    Prioriser les tests en collaboration testeur/développeur/chef de produit
•    Automatiser les tests d’intégration jugés critiques

                                                        Optimisation de la stratégie de test
                                                        •   Shift Left - focus qualité en début de cycle : tests unitaires,
     Req   Design   Code        Test   Accept.   Prod
                                                            intégration, validation…
                                                        •   Revue des référentiels d’intégration et de « Product validation »
                                                            pour éviter les redondances
                      Testing
                                                        •   Partage du périmètre avec les représentants des utilisateurs
                                                        •   Approche de test commune avec l’équipe Hardware

13   JFTL 2019
Amélioration continue
Les prochaines étapes

      Robustesse        Internet of Things   Intelligence Artificielle

14   JFTL 2019
Changement du modèle d’exécution des tests
Démarche de forfaitisation

Les avantages de la forfaitisation

                                                                                         Propositions
 L’arrivée de Cognizant n’a     La forfaitisation a aidé à   Le modèle est flexible
                                                                                         d’innovations : BOTS,
 pas nécessité de               formaliser l’expression de   pour s’adapter aux
                                                                                         tests de robustesse, bras
 modification de                besoin et la documentation   pics/creux de charge &
                                                                                         automatisé pour les tests
 l’organisation côté SBRE       d’architecture               changement de planning
                                                                                         tablettes…

Les adaptations nécessaires dans le centre de service de Grenoble

                                                                                         Systématisation des
 Intégration sécurisée au
                                Anticiper les envois de      Mise en place d’une salle   vidéos dans les
 réseau de SBRE afin
                                robots au centre de          de test dédiée aux tests    anomalies et des
 d’avoir accès à ses robots
                                services                     d’interactions              visioconférences pour
 à distance
                                                                                         les problèmes bloquants

15   JFTL 2019
Conclusion & synthèse
                                                                            Démarche d’amélioration       4
                                                                            continue

La collaboration entre SBRE et Cognizant est un                Mise en place de la
succès :                                                       « Product Validation »      3
        Focalisation sur la perception de l’utilisation du
         robot par l’utilisateur et pas seulement sur une
         approche technologique
        Amélioration de la satisfaction utilisateur en                                 Industrialisation des
                                                                            2           tests
         augmentant la qualité logicielle des produits
        Réduction des délais de validation des
         nouvelles versions de robots (délais divisés par 2)
                                                               1          Optimisation de tests

    16    JFTL 2019
Conclusion & synthèse

                                                                 Cette collaboration a également permis à Cognizant
                                                                 France de découvrir quelques spécificités liées à la
       60%                 30%                     x5            robotique
 Réduction des      Réduction des tests       Volume de test
  campagnes            (suppression des
                                              multiplié par 5    1.   Les tests robotiques ne sont pas déterministes
 d’acceptance       redondances et optim.)
                                                                      du fait de l’environnement et du hardware
                                                                      (certains tests doivent être exécutés plusieurs
                                                                      fois)
                                                                 2.   Les nouveaux usages nécessitent
    +11%                    x6                     x6                 constamment de se remettre en question
 Automatisation :   Augmentation des                                  (couverture & approche de test)
                                                Nombre de
passage de 17% à      cadences de            configurations de
  28% de tests          version               robots à tester    3.   L’évolution rapide du marché nécessite une
   automatisés                                                        flexibilité importante
                                                                 4.   Encore plus que pour les SI traditionnels on ne
                                                                      peut pas tout tester

  17    JFTL 2019
Merci

Questions ?
Arnaud Chabrerie
David Van Inghelandt
Vous pouvez aussi lire