BigData PARIS 2020 - Comment mettre en production et suivre la performance de nombreux modèles dans le temps ? - AVISIA

BigData PARIS 2020

       Comment mettre en production et suivre la performance
                 de nombreux modèles dans le temps ?
                     Retour d’expérience AVISIA * Bouygues Telecom

AVISIA – Le Cabinet « Data Centric » partenaire des projets de Bouygues Telecom

              DATA, DIGITAL &
                TECHNOLOGY

Fondé en 2007, AVISIA est UN            Retour d’expérience réalisé au sein du pôle connaissance clients intervenant sur des
ACTEUR DE RÉFÉRENCE dans le             sujets compréhension du comportement client par la valorisation de la donnée de
DOMAINE DE LA DATA.                     manière transverse.
A travers une équipe de PASSIONNÉS
et d’experts, nous sommes spécialisés   Partenaire depuis 2009, nous avons su être tour à tour présent aussi bien dans de
dans le CONSEIL, l’INTÉGRATION et la    l’accompagnement en renfort d’activité pour répondre aux besoins fonctionnels
RÉALISATION      de   projets  DATA     que dans la proposition de démarches innovantes génératrices de valeur.
CENTRIC.

Créer un score
Le mettre en production
                                                8
                                          Data Analyst
Généraliser, itérer, « Industrialiser »
                                              ~40
                                          Jours-hommes
                                          pour ce projet
                                          d’industrialisation

Un score de renouvellement à destination des équipes
                                          CRM

                                          Des centaines de features en input
Créer un score                              • CRM, usages voix & data, navigation, facturation,
                                              techniques…
Le mettre en production
                                            • Evolutives
Généraliser, itérer, « Industrialiser »
                                          Profiter à plein du Visual Machine Learning !
                                            • Ré-ouvrir le capot pour challenger via d’autres algo, tester
                                              l’apport de nouvelles données etc….

Production à la main de l’ équipe Connaissance Client

                                          Application du score chaque semaine

                                          Réentrainement du modèle chaque mois
Créer un score

Le mettre en production                   Suivi de la performance du modèle (AUC, Lift…) en
                                          production et des modèles concurrents
Généraliser, itérer, « Industrialiser »
                                          Contrôles sur l’alimentation         des    données,    la
                                          complétude, les volumétries…

                                          Alertes mail (temps de calculs, volumétries, fail)

En cible + de 10 scores et pour chaque score 10-20
                                          modèles alternatifs !
                                           • Des impératifs de run time
                                           • Reporting sous Tableau

Créer un score                            Des enjeux opérationnels forts
                                           • Descente des scores dans les SI jusqu’aux téléconseillers
Le mettre en production                    • Production à la main de l’ équipe Connaissance Client
Généraliser, itérer, « Industrialiser »
                                          Flow générique permettant la reproduction pour tout
                                          score nouveau ou existant

Performance
        des scores
Data

        Scores client   CRM, Commerce…

Reporting : Performance
                                          des scores

              Workflow générique

Préparation
des données
    dans
  Teradata

                                       Scores client

Entraînement du même algo, sur de nouvelles données (pas
d’activation !)
Evaluation (prédiction vs réalité) des performances de tous les
modèles !
Stockage de toutes les performances (dataset partitionné),
alimentation d’un reporting Tableau
L’activation d’un modèle challenger reste à la main de
l’utilisateur !

Entraînement    du    même      algo     /  mêmes         Python       recipe      puis
hyperparamètres mais sur de nouvelles données             transformation en plugin
avec un schéma qui peut avoir changé !! (GUESS)           Ecriture du plugin par un
                                                          Data                Scientist,
Surtout : des metrics de performance étendues (lift       réutilisation par tous les
1, 5, 10%...) et une évaluation sur une liste évolutive   utilisateurs
de « modèles à comparer »

Reporting : Performance
                                  des scores
Score 1 (renouvellement)

  Score 2 (attrition…)

                               Scores client
    Score 3 (x sell…)

Gain de productivité et            Perspectives de gains en         Maîtrise du temps de
d’autonomie                        termes de performance de         traitement
                                   modèle

  Directement reproductible pour    Se réapproprier et challenger     Perspectives pour scaler sur un
  créer et mettre en production     les modèles des scores            nombre encore plus important
  un prochain score                 existants                         de modèles offertes par
  Déploiement et suivi à la main    Opportunités du Visual ML         Kubernetes
  d’une équipe de Data analyst

Questions ?

                                    Réponses

Pour plus de détails et échanger sur la partie technique & algorithmique, nous
        serons présents sur le stand A2 & via la plateforme en ligne :
           https://www.connectbycorp.com/big-data-et-ai-paris-2020/

DATA, DIGITAL & TECHNOLOGY
© 2007-2020 AVISIA - Tous droits réservés    48, Avenue Victor HUGO - 75 016 Paris   Tel : +33 (0)1 44 17 14 00   contact@avisia.fr