LA DSI DE L'ESPACE AU BIG DATA ENJEUX ET PERSPECTIVES AU CNES - Université Paris Diderot
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
LA DSI
DE L’ESPACE AU BIG DATA
ENJEUX ET PERSPECTIVES AU CNES
Jean-Pierre Gleyzes
Directeur Adjoint du Système d’Information
1 Campus Spatial Université Paris Diderot : 3/7/2014
! Le CNES et ses missions
SOMMAIRE
! Pérennisation des données spatiales
! Le HPC et le big data au CNES
! Enjeux et perspectives
! Le CNES et ses missions
SOMMAIRE
! Pérennisation des données spatiales
! Le HPC et le big data au CNES,
! Enjeux et perspectives
Présentation CNES – Ses
missions
Au
service
de
l’Europe
pour
:
• Maîtriser l’espace de bout en
bout.
• Être moteur dans la
4centres d’excellence
PARIS Les
Halles
TOULOUSE
construction de l’Europe de
l’Espace.
Le
CNES
a
pour
missions
d’apporter
la
vision
d’ensemble
des
solu:ons
spa:ales
grâce
à
sa
compétence
système,
et
d’innover
• En restant à l’écoute des utilisateurs et
de leurs besoins.
GUYANE PARIS
• En se situant au carrefour des
Daumesnil
laboratoires scientifiques/technologiques,
des entreprises industrielles et de services.
• En stimulant la recherche et l’innovation
scientifique, technologique et industrielle,
au service des besoins institutionnels et
commerciaux.
Présentation CNES – Ses
partenaires
Ministre de l'Éducation
nationale, de Ministère de la Défense
l'Enseignement supérieur DGA
et de la Recherche
Partenaires
Union
Ministre de l'Écologie, internationaux
Européenne
du Développement (NASA, JAXA,
durable et de l'Énergie CNSA, ISRO,
…)
EUMETSAT
Union
Européenne
Laboratoires
scientifiques Autres utilisateurs
de l‘Espace
Industrie
Les centres
Siège
Regroupe les structures
fonctionnelles
198
PARIS Les Halles
Lanceurs PARIS Daumesnil 221
Etude, Conception,
Développement des
systèmes de lancement
Ariane, Soyouz, Vega,
Préparation du futur
281 GUYANE
Port Spatial de
l’Europe
Ariane 5
Soyouz
Vega
Préparation du futur
1761
Systèmes orbitaux TOULOUSE
Etude, conception,
développement et
contrôle des systèmes
orbitaux
Préparation du futur
Nos programmes
5 Domaines
d’intervention
L’Observation
La Défense
Les Sciences
Les Télécommunications
Ariane
Ariane
Garantir l’accès de l’Europe à l’espace
grâce à une gamme de lanceurs
10 t (GTO)
3 t (GTO)
1,5 t (SSO)
Vega Soyouz au CSG
Ariane 5
Ariane
Futur
Préparer le système de lancement du futur : ARIANE 6 et au-
delà
Pour répondre au besoin des missions spatiales de demain,
institutionnelles et commerciales, et pour réduire, voire supprimer le
soutien des Etats pour l’équilibre de l’exploitation, le système de
nouvelle génération sera :
Compétitif, Flexible, Robuste, Fiable, Performant
! Le 21 novembre 2012, lors du Conseil de l’ESA au niveau ministériel, les Etats ont décidé le
programme « Ariane 5 ME adapté et Ariane 6 » couvrant une première tranche de travail de 2
ans
! Les objectifs calendaires fixés sont :
" 1er lancement Ariane 5 ME adapté au plus tard en 2018
" 1er lancement Ariane 6 en 2021
! En 2014 une nouvelle Conférence Ministérielle statuera sur la poursuite de ce programme.
L’objectif de ces 2 années d’activité est de définir le choix du concept Ariane 6 et d’un étage
supérieur commun entre A5 ME et A6 et ainsi préparer A5ME adapté et Ariane 6 avec le meilleur
niveau de synergie.
La préparation du futur repose sur l’ensemble des travaux d’études système
et de démonstrations technologiques menés au CNES et chez nos
partenaires européens.
Les Télécommunications
Programmes Programmes en préparation
en exploitation et en développement
Argos 3 SAR/GALILEO
sur
IOC
SARAL Argos 4 sur
GALILEO
Sarsat 3 Argos 4 sur METOP
IOV
JPFF EPS SG1
(2022)
2011 2012 2013 2014 2015 2016 2017 2018 2019
1er satellite
Alphabus avec charge er NEOSAT
1 satellite SAR/
utile flexible
THD SAT GALILEO
FOCL'Observation
Programmes en exploitation
Calipso Goce Iasi2/MetopB Swarm
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Spot 5 (2002) Iasi1/MetopA Jason 2 Smos Megha-Tropiques Saral-AltiKaL'Observation
Programmes en préparation et en développement
Jason 3 Merlin Swot Biomass
GMES GMES GMES
S1 S 2-3 Venµs Jason-CS
2014 2015 2016 2017 2018 2019 2020 2021 2022
IASI-NG1/
CFOSAT Iasi 3/MetopC Metop SG ALes Sciences
Programmes en exploitation
• HST (1990) Rosetta CoRot Herschel & Planck Picard MAVEN
• Soho (1995)
• Cassini/Huygens MTB
(1997)
• XMM (1999)
• Cluster (2000) 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
• Integral (2002)
Stereo Expose Déclic Cardiomed
Mars Express Venus Express Fireball 2007 T2L2 Fireball 2009 MSL/Curiosity GAIA
CardiolabLes Sciences
Programmes en préparation et en développement
Hayabusa2 Lisa Pathfinder BepiColombo Solar Orbiter SVOM
ExoMars INSIGHT ExoMars 2018
2016
2014 2015 2016 2017 2018 2019 2020 2021 2022 2023
Pilot Taranis Microscope JWST JUICE
Solar Probe
Cardiospac Plus
e
Fireball 2
EUSO-ballon PHARAO/ACES EUCLIDLa Défense
Programmes en Programmes en développement
exploitation
Hélios 2 B Pléiades 1A CSO Musis
Pléiades 1B
2009 2010 2011 2012 2014 2015 2016 2017 2018 2019 2020
Hélios 2 A
(2004) Elisa Athéna-Fidus Ceres16 Formation Nouveaux Arrivants DSI – 31 Mai 2013
03/07/14
LES ÉVÉNEMENTS 2014
DES LANCEMENTS ET DES RENDEZ-VOUS TECHNIQUES
Athena-Fidus ATV 5 Georges Lemaître Atterrissage de Philae sur la
6 février sur Ariane 5 Opérations docking et comète - 11 novembre
undocking juillet à déc.
Mises à poste Galiléo Campagnes ballons Centre de données Gaia
opérationnel! Le CNES et ses missions
SOMMAIRE
! Pérennisation des données spatiales
! Le HPC et le big data au CNES,
! Enjeux et perspectivesArchive : Old ages From 1986 to 1995 From 1996 to 200 From1993 to 200 ! recorder ! recorder ! recoder " Schlumberger ML2601 " SONY DIR1000L " CREO " BER 10e-8 " BER 10e-10 " BER 10e-14 ! media ! media ! mdeia " High Density Data Tape (HDDT) " cassette format ID1 " Optical tape " capacity : - 7 GB " capacity : 40 GB " capacity : 1 TB ! Number of tapes ! Number of tapes ! Number of tapes " 15000 x 2 " 1500 x 2 " 120 DCT/PS/DA JP Gleyzes 19
Archive The digital revolution (since 2000) ! Stored data Migration from old systems "Digital file = 6 years, 4 FTE ! media "Computer storage "cheap "BER 10e-14 "lifespan 10 years ! Robot media library access "fast "Monitored archive "Automatic dubbing "data “on line”
Product Library Basic Features
Product"
• Consistent management of products, internal
separation of product metadata and data
Metadata" Data"
• Decoupling of application level interfaces from
physical storage issues
Inventory: Postgres, …
• Archive: Disk, HSM, SAM-FS, …
• Comprehensive functionality for product
Inventory Archive!
Service! management
• Processing support by queries and triggers
• Multi-Mission
• Standardized interface
Product Library!Archiving Concept
Hierarchical storage management file system (SUN /
SAM-FS)
Robot media library, mixed-media handling
(LTO4, T1000, …)
2 copy library NO LOSS OF DATA
Current capacity 2 PB
Extensibility to 10 PB
Archive
1st Copy
migrate
write
stage
read export
import
Disk Cache 2nd Copy Offline Storage
Online Nearline OfflineArchiving policy – data
storage
Physical storage is transparent for the users :
! files ares stored in « collections » which are applicative logical views, not connected with the way the data are stored on the
physical layers (medias, technologies, …)
! There are always 2 copies of an archived file
! The 2 copies of a file are always stored in different buildings
! The 2 copies of a file are always stored on different storage media technologies
! files are continually migrated from old storage media technologies to the new generation technologies to handle the
technologies obsolescence
! cartridges (storage medias) are recycled when
" Lifespan reaches the threshold recommended by the manufacturers
" number of drive mounts reaches the threshold recommended by the manufacturers
Data integrity management :
! When archiving a file, a footprint is systematically created on the client side and stored in the application database
! When restoring a file, an end-to-end integrity check based on the footprint can be madeRe-build of the STAF service in 2008
New storage and computing
infratructures
New version of the specific
application STAF (java, C)
Sun Solaris computers, Sun SAM-
FS HSM
Files migration :
! Took 10 months (8 millions
files, around 400 TB),
! < 1 person full-timeProblématique de l’archive
Croissance exponentielle des volumes
Donnée « éternelle »
à préserver sur le long terme :
• Données
• Documentation
• Logiciels
• Connaissance
•Comment préserver ces données ?
http://earth.esa.int/
gscb/ltdp/Gestion des données spatiales (au CNES)
Les données spatiales quelques exemples
! SPOT (2014, 5 satellites, 20 ans)
" 600 TB archivés au Cnes
! Pléiades (2 satellites, 15 ans)
" > 5000 TB sur la durée de la mission
! SWOT (Haute résolution Hydrologie)
" > 6000 TB à échanger entre NASA et CNES
! GAIA (le Data Processing Center du Cnes)
" 1000 TB de données
" 1 Milliard d’étoiles cataloguées
" 80 Milliards d’objets gérés
! Enjeux
" Pérennisation et valorisation des données spatiales et métier
" Interopérabilité des centres
" Ouverture du CNES à ses partenaires
" Souplesse et flexibilité pour les métiers
! Axes stratégiques :
" Maîtriser la gestion du cycle de vie de l’information et des données,
" maitriser l'augmentation des volumétries des données et les coûts
de transport/stockage/archivage/traitement/accès.! Le CNES et ses missions
SOMMAIRE
! Pérennisation des données spatiales
! Le HPC et le big data au CNES,
! Enjeux et perspectivesThree
typical
use
cases
Numerical
Simulation
«
Big
Data
»
Digital Power Bring Data to processing
High speed storage Distributed Storage
High Speed dedicated network CHAMBRE
MOTEUR VINCI
« Classic » network
MPP (massively parallel processing) : 1 job / Digital Power
tens of processors. CPU & IO intensive
CPU intensive
HPC
profile
Data
Processing
Digital Power
High speed storage
High Speed network
« job » Parallelism : 1 sequential chain / 1
processor, but hundreds of chains in parallel.
IO intensive : bring users to data,
extract informationWhat
is
«
BigData
»
?
…
a
new
data
processing
Profile
above
current
processing
capabilities
unable
to
work
with
data
handling
classical
solutions
a
new
approach
was
mandatory
!
Reuse
web
solutions
(google,
facebook,
…)
from
Massive
web
data
processing
to
scientific
massive
data
processing
Gaia
Mission
:
-‐ Produce
a
3D
map
of
our
Galaxy
-‐ High
accuracy
Localisation
of
more
than
one
Billion
objects
-‐ Compute
Stellar
and
astrophycal
parameters
Mission
center
:
-‐
DPAC
=
6
processing
centers
-‐
DPCC
(CNES
processing
center)
:
-‐ 3
CU
(coordination
units)
-‐ 10
scientific
chains
-‐ 60
developers
EU
Gaia A few figures : -‐ 1PB raw data (1 DVD stack as high than 3 Montparnasse towers) -‐ Highly scalable architecture during life span -‐ Reprocessing every 6 months… -‐ Disaster Recovery for the Gaia Master database (1.5 PB) GAIA is really at « BigData » scale.
Hardware Infrastructure
DPCC cluster GAIA
! Hardware:
" Masternodes : DELL R620
" GlusterFS nodes : DELL R720
" Datanodes : DELL C6220
» 12 cores
» 48 GB RAM
» Storage 12TB (JBOD)
"Ethernet network
» 10Gb inter racks
» 1Gb intra racks
" global Configuration target:
» ~ 6500 cores
» ~ 10 TB RAM
» ~ 3PB
» ~ 120 TflopsHPC hardware infrastructure
HPC cluster
! Hardware
"Admin nodes : DELL R420
" HPC nodes:
» DELL C6220
» 16 cores / 61 GB RAM
» Storage 0,45 TB (RAID0)
» DELL R410
» 12 cores / 45 GB RAM
» Storage 0,1 TB (RAID0)
" Storage parallel : GPFS
» 260 TB, 7GB/s
" Network Infiniband
" Current Configuration :
» 1700 cores
» 6,5 TB RAM
» 35 TflopsHosting Infrastructure CNES HPC DataCenter ! 270m2, 70 racks ! 1 MW power "Dual power lines (2 * 1MW) !1 MW cooling "Water cooling "Air con cooling ! High reliability "~Tiers 4 "99.995% Availability "Highly secured
! Le CNES et ses missions
SOMMAIRE
! Pérennisation des données spatiales
! Le HPC et le big data au CNES,
! Enjeux et perspectivesGMES/Copernicus flotte des satellites d‘observation de la terre
European Commission resources for operations
07 08 09 10 11 12 13 14 15 16 17 18 19 20
ERS-2 … C-Band SAR Sentinel-1a … C-Band SAR
S1-b
ENVISAT … C-Band SAR & Land/Ocean S1-C
Sentinel-2a … superspectral
S2-b S2-c
Sentinel-3a … land & ocean monitoring
S3-b S3-c
Sentinel-4 – Atmo GEO
Sentinel-5 preCursor Sentinel-5
esa member states national satellites
TerraSAR-X-2
TerraSAR-X
TanDEM-X HRWS-X
PAZ
Cosmo Skymed Cosmo Skymed follow-on
Cosmo Skymed
Cosmo Skymed
Cosmo Skymed
Radarsat-2 C-Band SAR Radarsat Constellation
Radarsat Constellation
Radarsat Constellation
RapidEye
SPOT-4 Ingenio
SPOT-5
AstroTerra/ SPOT-6/7
Imaging Satellites Pleiades
Pleiades C-band SAR
3 C-Band SARs X-band SAR
4 X-Band SARs
EnMAP Low res. opt & alt.
Med res opt
8 opt. Imagers < 10m
PRISMA Hi Res opt
hyperspectral
atmospheric
Civil and dual-use; no military systems showedCopernicus Core Ground Segment
Besoin absolu
d’Intéroperabilité
Draft GSC Operations Concept, PBEO Feb 2010Minds are like
parachutes
They only function
when
they are open
Lord Thomas Dewar
03/07/14 38Standardisation via Open Geospatial Consortium : http://www.opengeospatial.org/ Strong connection with INSPIRE : http://inspire.jrc.ec.europa.eu/ !Directive 2007/2/EC of the European Parliament and of the Council !To ensure that the spatial data infrastructures of the Member States are compatible and usable in a Community and transboundary context, !the Directive requires that common Implementing Rules (IR) are adopted in a number of specific areas "Metadata, "Data Specifications, "Network Services, "Data and Service Sharing and Monitoring and Reporting).
Principaux standards de l’OGC
Principaux standards de l’OGC
Principaux standards de l’OGC
Example of client integration : Jeobrowser
WPS
Web Processing
ServicesModèles d’Accès aux données
Amener les données près de l’utilisateur :
le modèle classique
Amener l’utilisateur et les traitements
près des données :
le nouveau paradigme
1 Modèle classique : grand consommateur de bande passante (réseau)
2 Nouveau modèle (Cloud, Web Processing Service) : prometteur, mais technologies encore peu
standardiséesVers un modèle «cloud communautaire» : Helix Nebula ? 45 Visite Commission Européenne, DG Entreprises & Industrie – 28 mai 2014, Cnes, Toulouse
Vers un modèle «cloud communautaire» : Helix Nebula ? 46 Visite Commission Européenne, DG Entreprises & Industrie – 28 mai 2014, Cnes, Toulouse
Vers un modèle « full cloud » : Google Earth Engine : une
nouvelle révolution ?
Google Earth Engine platform is a system designed to enable
petabyte-scale, scientific analysis & visualisation of geospatial datasets.
Slides presented by Google at ESA Big Data WorkshopLes The AppStore model:
producteurs
de données
Providing online APIs to
menacés ? leverage a community of
Few providers developers and access
millions of users for the
benefit of the platform
Few platforms
Many Apps…
Storage in the
cloud
Many Users
APIs
Les opérateurs
de services
doivent Developers
s’adapter CommunityUn avenir à bâtir… EO big data "Modèle « Grand Compte » vers le modèle « Mass Market »
Merci de votre attention Bassas da India, Iles Eparses, – 7 décembre 2012 – Pléiades 1B
Vous pouvez aussi lire
