Python Big Data Olivier Ricou 2022 - LRDE
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Python Big Data
Olivier Ricou
2022
Olivier Ricou PYBD 2022 1 / 15
Travailler les données, pour faire quoi ?
découvrir la vérité cachée dans les données (citoyenneté / journaliste)
découvrir un potentiel d’économie ou de création de richesse
préparer les données pour un réseau neuronal ou autres travaux
trouver un boulot très bien payé
Olivier Ricou PYBD 2022 2 / 15
Trouver la vérité
La vérité est souvent cachée.
Attention
à ne pas vouloir trouver sa vérité → celle qui nous arrange
à ne pas se faire piéger (données fausses, définition trompeuse, biais…)
à la fausse interprétation
▶ en parler avec des experts
▶ en parler avec les personnes concernées
à la manipulation des autres, ceux qui n’ont pas respecté le premier
point volontairement ou pas et qui nous influencent
De bonnes données peuvent permettre de faire surgir des vérités.
Olivier Ricou PYBD 2022 3 / 15
La vérité existe-t-elle ?
Taux d'emploi par âge en moyenne annuelle en France métropolitaine (pourcentage)
100
90
80
70
60
50
40
30
20
10
15 - 24 ans 25 - 49 ans 50 - 64 ans
0
19
19 5
19 6
19
19 8
19 9
19 0
19
19 2
19 3
19 4
19 5
19 6
19 7
19 8
19
19 0
19 1
19 2
19 3
19 4
19
19 6
19 7
19 8
20 9
20
20 1
20 2
20 3
20 4
20
20 6
20 7
20 8
20 9
20 0
20 1
20 2
20 3
20 4
7
7
77
7
7
8
81
8
8
8
8
8
8
8
89
9
9
9
9
9
95
9
9
9
9
00
0
0
0
0
05
0
0
0
0
1
1
1
1
1
15
Taux de chômage par âge au sens de l’Insee (pourcentage)
source : Wikipédia
Quelle est la définition de chômage ? Ça veut dire quoi rechercher un travail ?
Olivier Ricou PYBD 2022 4 / 15
Open data
Olivier Ricou PYBD 2022 5 / 15
Les communs numériques
Wikipédia et OpenStreetMap sont des données communes largement
utilisées et ré-utilisées.
bitants pa r déchèterie
Nombre d’ha
Carte touristique
Voir aussi https://www.ign.fr/la-demarche-geocommuns
Olivier Ricou PYBD 2022 6 / 15
Potentiel économique
C’est la raison principale du succès des données massives¹.
Exemple de Total
Total utilise beaucoup de centrifugeuses
elles ont des consignes d’utilisation dont le nombre de tours/mn max
les centrifugeuses ont pleins de capteurs → données
Total décide de faire tourner à fond ses centrifugeuses
elles meurent mais on a plein de données sur leurs façons de mourir
aujourd’hui elles tournent à fond et sont arrêtées juste avant la panne
on répare ou remplace la pièce qui va casser et c’est reparti
Total gagne de l’argent en ayant ses centrifugeuses qui tournent à fond.
Les constructeurs des centrifugeuses aimeraient avoir l’info qui permet cela.
¹traduction de big data
Olivier Ricou PYBD 2022 7 / 15
Captation de données
C’est un modèle économique
potentiellement très rentable
parfois amoral voire dangeureux pour la société
Les bracelets connectés
Les données vont sur les serveurs du fabriquant.
Le plus souvent on ne peut pas l’empêcher.
Quelles garanties sur l’exploitation des données ?
Des personnes sont intéressées (médecin, assurance,
employeur, famille)
Le droit à la portabilité des données (RGPD) permet de récupérer ses
données. Qui le fait ?
Olivier Ricou PYBD 2022 8 / 15
Préparer les données
Rendre des données propres et exploitable est un travail de grande valeur.
Si le jeu de données a des erreurs ou des trous
les sciences expérimentales auront du mal à progresser
les réseaux neuronnaux convergeront moins bien voire pas du tout
la vérité devient une erreur
le gain financier espéré n’arrive pas
Les données sont rarement propres.
Olivier Ricou PYBD 2022 9 / 15
Les outils
Les principaux dans l’ordre de puissance² :
le tableur (Excel…) les applications à la Tableau
la base de donnée relationelle les langages Python et R
(SQL)
²SQL est quand même un peu à part.
Olivier Ricou PYBD 2022 10 / 15Notre programme
On se concentre sur
Pandas
Matplotlib
Seaborn (rapidement)
Plotly + Plotly Express
& Dash (partie de Plotly pour faire des applications)
Python et Numpy étant censés être déjà connus.
Olivier Ricou PYBD 2022 11 / 15Le projet
Vous pouvez proposer ce que vous voulez qui donne un graphique interactif.
Quelques idées :
https://covidtracker.fr/ pouravoir une médaille en plus de 20/20
https://delta.lrde.epita.fr/ qui hébergera vos projets
https://www.lrde.epita.fr/~ricou/#Projets%20PYBD propose quelques idées
Olivier Ricou PYBD 2022 12 / 15Projet = travail même à 2
Vous êtes noté sur le projet.
Il est à faire en binôme.
Produire un résultat de qualité demande beaucoup de temps. Voici le temps
que passe un pro pour produire des graphiques qui seront utilisés dans la
presse :
Concept (au tableau) : 3 h
Recherche des données : 4 h
Traitement des données : 5 h
1ère version de graphique : 6 h
2e version : 2 h
3e version : 2 h
Total : 22 heures !
Olivier Ricou PYBD 2022 13 / 15Emploi du temps
4 cours de 3 heures.
1 Présentation + Pandas
2 Pandas + Graphisme
3 Graphisme
4 Projet (début)
Vous devez penser au projet en amont (2e cours) afin qu’on puisse vous
donner un go/nogo lors du dernier cours.
Olivier Ricou PYBD 2022 14 / 15Bonus
Petit essai sur les relations entre
l’ouverture des données
la transparence
la démocratie
À sortir bientôt.
Papier : 5 €, numérique : 2 €
Olivier Ricou PYBD 2022 15 / 15Vous pouvez aussi lire
