Les données massives de Copernicus : vers un nouveau paradigme Hervé Jeanjean Cnes - pole avenia
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Les données massives de Copernicus :
vers un nouveau paradigme
Hervé Jeanjean
Cnes
1
Règlement Copernicus Règlement délégué
du 03/04/2014 : du 12/07/2013
cadre politique, sur la diffusion des données :
organisationnel et financier Full Open Free
CLUB GEOSCIENCES DU
2
24/03/2015
Composante spatiale Copernicus Les services
Copernicus
1 remplissent les
besoins communs
Sentinelles 1-2-3-4-5 & Jason series
et mutualisés des
Etats Membres
Système coordonné
Missions contributrices d’accès aux données
Certains besoins
Observations des services aval à
in situ SERVICES COPERNICUS l’échelle Projets
régionale
2 collaboratifs
et locale ne sont
pas couverts par le
périmètre « core »
de Copernicus
Utilisateurs Copernicus
CLUB GEOSCIENCES DU
3
24/03/2015
Un flux de données inédit
avec Copernicus
Données Sentinel : > 13 To/jour en régime de
croisière (5 Pétaoctets/an)
Avec les services Copernicus et les produits
aval, le volume >> 10 Po/an
– Enjeux
• pas uniquement le volume et le stockage des données
• mais la structuration et la gestion des données pour
répondre à la diversité des cas d’usage
• avec des moyens de calculs massifs & positionnés
auprès des données
• + une interopérabilité des plateformes
• et un point d’entrée unique à terme (one stop shop)
Volume total
Volume / an
CLUB GEOSCIENCES DU
4
24/03/2015
Dissémination des données Sentinelles
Pour tous, Réservé aux 1 utilisateur/ pays,
performances services Copernicus performances PEPS
limitées performances garanties garanties Au plus tard fin 2015 :
Hub de distribution
• Hub ESA ouverts mais … via CLS
– une archive limitée et sans moyens de traitements
– besoins du secteur aval et scientifique pas bien couverts
• Réponse de la France = PEPS Plateforme d’Exploitation des Produits Sentinelles
– offrant une solution bien adaptée aux besoins pour la période 2015-2017
– en complément de l’architecture européenne, avec toute l’archive temporelle
– solution la plus économique basée sur une infrastructure existante (Data Centre du Cnes)
– solution transitoire, flexible, offrant une capacité d’évolution et transférable
CLUB GEOSCIENCES DU
5
24/03/2015
Segments sols collaboratifs
• Trois étapes
– Définition du processus et collecte des
propositions
– Analyse de la faisabilité des propositions
– Formalisation de la collaboration
• Point de contact national = CNES
• Accord signé entre le CNES et l’ESA (18 mars
2015)
– Accord comprenant le site miroir PEPS et une
station bande X (pour CleanSeaNet). Discussions à
poursuivre pour d’autres stations de réception
– Autres pays ayant signé : Grèce, Norvège, Italie,
Allemagne, Finlande, UK
CLUB GEOSCIENCES DU
6
24/03/2015
PEPS 1, c’est quoi ?
• PEPS - tranche 1
– 4 ans : novembre 2014 à fin 2017 + 2018 (année de transition)
– Préparation PEPS2 avec tous les acteurs en parallèle
• Objectifs : servir les utilisateurs nationaux : industriels PME/PMI, scientifiques,
organismes institutionnels …
– Diffuser / mettre à disposition les données Sentinelles, libres et gratuites
– Permettre le traitement près des données .. et les valoriser
– Favoriser l’innovation par le développement des SAV
– Satisfaire les besoins spécifiques des utilisateurs « aval »
– Structurer la gestion des données selon les différentes utilisations
– Préparer PEPS2 : solutions technologiques, retour de satisfaction et caractérisation du
besoin des utilisateurs…
• La solution technique
– Une interface Web
– Un système de recherche et d’accès performant
– Une interface avec le hub de l’ESA pour récupérer les produits
– Un système de stockage les données Sentinelles, au fur et à mesure de leur production (sur
disques 2Po + sur bandes 5Po)
– Des serveurs de calcul
CLUB GEOSCIENCES DU
7
24/03/2015
Deux développements industriels
• Infrastructure de • Application logicielle :
stockage : BULL (ATOS)- consultation ACIS (choix
IBM ATOS)
– Solution HPSS
performante, évolutive
– Couplage natif HPC CNES
CLUB GEOSCIENCES DU
8
24/03/2015
Planning PEPS Phase de Bêtatests
• V1.1 fin mai 2015 : OUVERTURE DU SERVICE
• Version mise en œuvre par le CNES et maintenue par l’industriel
• V1.2 juillet 2015 :
• V1.1 industrialisée et consolidée par l’industriel
• V1.3 novembre 2015
• Visualisation avancée - phasé data S2
• V1.4 septembre 2016
• Complet avec services à valeur ajoutée,
évolutions retours utilisateur
CLUB GEOSCIENCES DU
9
24/03/2015
Comment bénéficier du Big Data ?
CLUB GEOSCIENCES DU
10
24/03/2015Innovation : définition,
participation aux Stratégie Open
Participer aux
formations,
actions R&D, Data pour les
partager des retours H2020/ITC, … données
d’expérience, Consom. spatiales
Citoyens Institutionnels
Accompagner les
changements de
métiers
Formation /
Ecoles / Industriels
Universités Inciter les
industriels au
développement
des nouveaux
services en croisant
les données
Organiser et Pôle de
définir la données
Infrastructures Entrepreneurs
gouvernance
(mutualisation,
croisement, …) Rechercher les solutions à Soutenir les « startup »
moindre coûts pour (incubateurs : utilisation des
l’utilisation et exploitation des infrastructures institutionnelles
CLUB GEOSCIENCES DU infrastructures « Big Data » pour le développement des
11
24/03/2015 nouveaux services)Le déluge de données : un
nouveau paradigme
• Big data : explosion du volume des données (5 V: volume,
vélocité, variété, véracité, valeur)
• Accès aux données qui se démocratise : « open data »,
(Etalab), directive PSI (gratuité des données publiques) &
INSPIRE
• Quelques chiffres
– 1 Go coûtait 1 million $ en 1980 : moins de 10 centimes en 2010
– 9 Mds € de chiffre d’affaires dans le monde (2,2 Mds € en Europe)
– 600 $ suffisent pour acheter un disque dur et y stocker toute la
musique du monde
– 30 milliards de contenus échangés par mois dans Facebook
– 1 heure de vidéo téléchargée par minute sur YouTube
– 140 Mds €/an : recettes indirectes espérées par le Big Data
– 74% des entreprises françaises convaincues de l’intérêt du Big Data
CLUB GEOSCIENCES DU
12
24/03/2015Le numérique envahit tout
CLUB GEOSCIENCES DU
13
24/03/2015Les hyper data centres
1. Range International Information Hub,
Langfang, Chine,
580 000 m²
– Terminé en 2016. À peu près équivalent au
Pentagone en terme de taille. Destiné à créer de
nouvelles tendances dans l’industrie TI. Faire le tour
de ses installations prendra toute une semaine.
2. Switch SuperNAP, Las Vegas, Nevada, USA
205 000 m²
– Destiné à éviter les désastres naturels au Nevada.
3. Utah Data Center, Bluffdale, Utah, USA,
93 000 m²
– Investissement de la NSA de 2 milliards de dollars,
connue comme étant le Intelligence Community
Comprehensive National Cybersecurity Initiative
Data Center.
Source : Microfix
CLUB GEOSCIENCES DU
14
24/03/2015La rencontre de deux mondes
Développeurs
Brokers de
APIs & Apps
données
Producteurs de dédiées Intégrateurs
données ACIS
Observation Nouvel Technologies
Recherche en
de la écosystème Développeurs
numériques
géo sciences géo Big Data
Terre TIC
information
Opérateurs
Services aval Clouds
Nouveaux
Nouvelle
modèles
CLUB GEOSCIENCES DU alliance (PPP ?)
économiques 15
24/03/2015Quels modèles
économiques ?
CLUB GEOSCIENCES DU
16
24/03/2015Quels partenariats ?
CLUB GEOSCIENCES DU
17
24/03/2015Vers PEPS 2
• Une mine à valoriser au niveau européen : 30 ans d’observation de
la Terre en France
• Missions spatiales : SPOT, Pléiades, Jason, Calipso, Parasol, IASI …et à
venir (Merlin, SWOT…)
– SPOT World Heritage : accès à l’archive SPOT > 5ans à la demande (annoncé
au sommet du GEO en janvier)
– Un cas unique en Europe avec la mise en place de pôles de données
(thématiques) en partenariat avec la communauté scientifique
• Enjeux
– combiner les données sentinelles avec les données de tous les capteurs du
continuum spatial-terrestre
– avec des moyens de calcul et du stockage distribués : hybridation de
plateformes
1 Enjeu pour la France : valoriser l’expertise scientifique et le savoir faire thématique aval
2 Approche nationale : rôle des industriels, redéfinition de la chaine de valeur, « RFI »…
3 Approche européenne : nouvelle gouvernance projets collaboratifs, task force EC/ESA/Etats Membres
CLUB GEOSCIENCES DU
18
24/03/2015Vous pouvez aussi lire
