HEPIX DE PRINTEMPS 2018 - COMPTE-RENDU CENTRE DE CALCUL DE L'INSTITUT NATIONAL DE PHYSIQUE NUCLÉAIRE ET DE PHYSIQUE DES PARTICULES - INDICO
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules Compte-rendu HEPiX de printemps 2018 Madison, 14-18 mai 2018
Plan de la présentation
● Le workshop en quelques chiffres
● Les tendances
● Les présentations par track (66 au total) :
– Site reports (13 -7) Sébastien
– Basic IT services (6 -3) Sébastien
– Storage and filesystems (9 +2) Gino
– End users IT services (4 -1) Gino
– Security and networking (10 -13) Ahmed
– Grid, cloud and virtualization & OS (7 +3) Ahmed
– Computing and batch systems (11 +4) Nicolas
– IT Facilities and business continuity (6 +5) Nicolas
● News du board et prochains HEPiX
CR HEPiX@Madison 2
Photo de groupe CR HEPiX@Madison 3
From Tony’s wrap
Les tendances up
(qui montent) – Impressions très subjectives
● Jupyter (mise en place de clusters de type JupyterHub et facilité
pour soumettre batch localement, i.e. utilisation des API du batch)
CR HEPiX@Madison 4
Retour sur les « Sites Reports »
● BNL Site Report
– Efforts sur le HPC
– Nouvelle salle machine en prévision (voir talk dédié)
● Revue « Design et estimation du coût » finalisée à l’automne
● PIC Site Report
– Performances plus faibles pour les CPUs immergées dans
l’huile 5~8 % HS06
● CERN Site Report
– Hadoop/Spark/SWAN (Jupyter)
● Physics data processing : can read ROOT format
– MALt (Microsoft Alternatives) voir IT Technical Users meeting
● Réflexion pour remplacer les outils Microsoft au CERN (augmentation
du prix des licences)
● Favoriser l’Open Source
– Philosophie globale du CERN
CR HEPiX@Madison 5
Retour sur les « Sites Reports » CR HEPiX@Madison 6
Basic IT Services
● Jupyter@BNL
– Déploiement d’une infra « Jupyter-as-a-service » basé sur
Jupyterhub (authentification via kerberos)
● Soumet sur l’une des fermes HPC de BNL
– Interfaçage avec les autres ressources de calcul
● Via les CLI de SLURM ou API de HTCondor
– Abstraction de la couche de soumission de HTCondor
● Écriture de fonctions spécifiques (en cours)
● Via « batchspawner.py » qui interface ces ressources (soumet le
notebook sur une node)
– Questions en cours
● L’authentification (tunneling requis pour le moment)
● Latence du système de batch
– Conclusions
● Infra flexible mais des problèmes techniques subsistent
CR HEPiX@Madison 7
Basic IT Services
● First Impressions of Saltstack and Reclass
– Speaker's notes
– Saltstack et Reclass (External Node Classifier)
● Pas de « vrai » argument pour ce choix
– Concept d’état similaire à Quattor (ancien système)
– Python + YAML
– Intégration de Reclass
● Beaucoup de détails sur l’infra déployée, beaucoup de systèmes
« saltstified » : dCache, Torque/Maui, monitoring, EOS, OpenStack, ...
● Problèmes de performances pour les gros déploiements
– Charge importante sur le master
● (Quelques) conclusions
– Besoins site plus importants que la popularité du produit
– Compromis à trouver entre flexibilité et les contraintes liées à la mise en
production
CR HEPiX@Madison 8
Basic IT Services
● A smorgasboard of tools around Linux at DESY
– 2-factor-authentication
● Besoin : certification ISO 27001
– Requis pour les IT et pour Linux (pour commencer)
● Logiciel PrivacyIDEA (open-source et communauté importante), token
(Yubikey or token app-based, i.e. Google Authenticator)
– Fail2ban (machines de connexion)
● Collecte et centralise les logs de connexion, mets-à-jour les ip-tables en
fonction de l’analyse des logs
– Gestion des dépôts de paquets
● Gestion « manuelle » (via liens symboliques) pour éviter des problèmes
imprévus
– Mise-à-jour des noyaux
● Mise-à-jour non systématique : changelog analysé et évaluation de la
criticité de la mise-à-jour.
CR HEPiX@Madison 9
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour HEPiX
Storage & Filesystems – End User IT Services
28 Juin 2018Plan
End User IT Services
(4 présentations dont CC-UserPortal)
◦ Modularity (Fedora) : jongler avec « vieux » logiciels et logiciels à la
pointe de la technologie dans le même OS
◦ Scientific Linux update : dates de EOL pour RH6 et RH7; pas de
nouvelles sur RH8
◦ TRIDENT tool (CERN) : collecter et analyser les performances des
workloads HEP
Storage & Filesystems
(9 présentations)
◦ OpenAFS Foundation : faire progresser AFS
◦ AuriStorFS : derniers développements & containerisation
◦ Tape Storage : WLCG group update & discussion BoF
◦ Autres présentations en bref
11End User IT Services - Modularity (Fedora)
Recette de la démo disponible sur les slides
12End User IT Services – Trident tool (CERN)
Présentation disponible
13Storage & Filesystems – OpenAFS Foundation
Release report
◦ 1.6.x stable (upcoming: 1.6.23) continue à être supportée
◦ 1.8 sortie en avril 2018
OpenAFS Foundation
◦ Attirer et augmenter la
communauté d’utilisateurs
◦ Favoriser une communauté
d’experts
◦ Faire évoluer la
technologie
14Storage & Filesystems - AuriStorFS
AuriStorFS
◦ Considérable réduction de l’investissement dans OpenAFS
◦ File feature request avec toute distribution Linux : d 'abord pour être
distribué dans Fedora ; pas dans RHEL8
◦ Développements du File System en 2017 :
8 développeurs
19 tagged releases
AFS and Linux containers
◦ Demos d’ intégration avec
containeurs et outils de
d'orchestration
15Storage & Filesystems – Tape Storage
WLCG Archival Storage group
◦ Rapport des progrès réalisés
dans la communauté et
recommandation pour les
activités futures
Tape Storage BoF
◦ Discussion animée sur le
déploiement futur des
technologies de bande
◦ La consolidation du marché réduit
le choix des technologies,
augmente les coûts et suscite des
doutes sur la disponibilité des
produits
◦ Beaucoup prévoient de migrer
vers LTO-8
16Storage & Filesystems – Autres présentations
Online Storage System @ KIT
◦ Nouveau stockage GPFS-based avec interconnections IB
New Storage Services @ CERN
◦ Description des différents services déployés
(EOS, CERNBox, SWAN, CVMFS, etc)
Storage performance @ NIKHEF
◦ Gérer le débit I/O avec une capacité de stockage croissante
xCache / xRootd Cache @ Southern California
◦ Merge des namespaces de Caltech et UCSD
◦ Résultats prometteurs des tests de scalabilité — prévision d’une
ultérieure expansion (Northern California?)
17Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour HEPiX
End-User IT Services & Operating Systems
28 Juin 2018Scientific Linux update (Fermilab)
SL6.9 & SL7.5 released
SL5 « End of Life » 31/03/2017
SL6 « End of Life » 30/11/2020
SL7 « End of Life » 30/06/2024
CoreOS (micro-distribution Linux pour conteneurs) racheté par Redhat
Conteneurs Docker (officiels) : Mises à jour tous les mois
◦ docker run -it sl:6 /bin/bash
◦ docker run -it sl:7 /bin/bash
◦ docker run -it sl:latest /bin/bash
RHEL8 : Python3 par default
◦ The expectation is that python 2.7 will be provided as a software collection by
upstream
◦ Python 2.7 « End of Life » 01/01/2020
https://indico.cern.ch/event/676324/contributions/2960189/
Madison spring 2018 19Système & Nouveautés : Préparer l’avenir
Spectre/Meltdown
◦ nécessite une mise à jour firmware
Spectre-NG
◦ 8 CVEs (Common Vulnerabilities and Exposures)
◦ 4 vulnérabilités classées “High risk” (Intel)
◦ 4 vulnérabilités classées “Medium risk” (Intel)
fwupd (RHEL7.4)
◦ Permettre une mise à jour “simple” du firmware depuis un terminal
◦ LVFS (Linux Vendor Firmware Service) : fwupd.org
Les “vendeurs” doivent fournir le firmware à LVFS
“systemctl --user” is coming
◦ Les utilisateurs peuvent démarrer/arrêter des services dans leur home
◦ Nécessite une session valide
◦ Kerberos auth?
MIT Kerberos : /var/kerberos/krb5/user/${EUID}/client.keytab
Madison spring 2018 20Système & Nouveautés : Préparer l’avenir (suite)
Systemd « stateless/immutable systems » (RHEL8+)
◦ “/etc” et “/var” générés dynamiquement
◦ Le système peut être généré au boot si “/usr” est accéssible
“/usr” peut être monté via NFS
◦ Le system peut faire un reset (can reset it self) pour retrouver une “bonne”
configuration via reboot plutôt qu’une reinstallation
http://0pointer.net/blog/projects/stateless.html
Custodia (RHEL 7.4) : Outil de gestion des secrets (HTTP / REST-API)
◦ API pour les applications cloud modernes
permettre le stockage et le partages des secrets
passwords, tokens, certificates, etc.
comment gérer les secrets dans les images cloud ?
https://custodia.readthedocs.io
Madison spring 2018 21Run the latest software on a stable environment - A simpler way (RedHat)
Déployer plusieurs versions de programmes selon les besoins des
utilisateurs
Plusieurs solutions
◦ Software Collection Libraries (SCLs)
◦ Containers
◦ Modularité
similaire aux groupes yum avec une gestion de versions
upgrade et downgrade (facile)
Une méthode modulaire "v1" similaire aux groupes yum mais avec
versions (problème rebuild de tous les modules à chaque changement
Une méthode hybride "v2" (paquets OS standards + modules
AppStreams actives) « F28 GA release »
https://indico.cern.ch/event/676324/contributions/2973777/
Madison spring 2018 22TRIDENT - Automated system tool for collecting and analyzing hardware performance
counters (CERN)
Analyse continu des performances sur les nœuds (non-virtualisé)
Utilise les compteurs hardware pour mesurer les métriques Core, Memory et
IO : Léger, pas de surcharge sur le système
Encore en développement « Beta » et nécessite des connaissances de niveau
« expert »
https://indico.cern.ch/event/676324/contributions/2981899/
FP / INT / BRANCH LOAD/STORE ADD
ATLAS – Geant 4 MC Simulation – EU Port Utilization Analysis FP / INT LOAD/STORE ADD
INT STORE DATA
INT / BRANCH STORE ADD
Madison spring 2018 23Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour HEPiX
Grid, Cloud & Virtualisation
28 Juin 2018CERN Cloud Service Update
Spectre/Meltdown : Reboot de l’intégralité du cloud
Migration de nova-network à neutron en cours
Provisionnement de serveurs physique avec OpenStack/Ironic
◦ Use cases : HPC, Windows, DataBases, Expériences
Fileshare service (manila)
◦ Backend : Ceph FS
◦ Remplace le Filer
Container service (magnum)
◦ Kubernetes, Docker
Monitoring : Rally
Workflows
◦ Expiration des VMs : OpenStack/Mistral
◦ Management : Rundeck
https://indico.cern.ch/event/676324/contributions/2981728/
Madison spring 2018 25CERN Cloud Service Update
Perspectives
SDN
◦ Investigation : Open vSwitch, Open Daylight,
OVN, Tungsten (Open Contrail)
Hyperconvergence
◦ Consolider les nœuds computes et nœuds de
stockage
◦ CPU/RAM pas trop utilisé sur les nœuds de
stockage
GPUs
◦ Création de flavors pour GPUs
◦ PCI passthrough : Méthode non spécifique au GPU
Impact au niveau séurité car la vm a un accès direct au matériel
Problème de monitoring, l’hyperviseur n’a pas de contrôle sur le GPU « passthrough »
Pas ou peu d’impact au niveau performances
◦ vGPUs : needs CentOS 7.5 and support from Nvidia
Nécessite un « vendor-specific driver » sur l'hyperviseur (Nvidia GRID, Intel GVT-g)
KVM support ? ; CUDA support ? ; Coût ?
◦ AMD a choisi d’implementer « SR-IOV » au niveau matériel
Madison spring 2018 26Baremetal provisioning in the CERN cloud : Ironic
Pourquoi le Bare-Metal Provisioning ?
◦ Pour certains usages on ne souhaite pas utiliser des VMs
◦ Simplifier le provisionnement des machines physiques
◦ Consolider la gestion des ressources
Intégration avec le réseau
◦ Pas de provisionnement ou suppression de réseaux coté Ironic
◦ Patch nova compute pour ne pas demander l’adresse ip
Intégration avec les autres Services
◦ Foreman : Ajout via « wrapper » à l’instantiation
◦ flavor : property cern:physical=true
◦ IPMI : openstack console url show
◦ PXE/TFTP
https://indico.cern.ch/event/676324/contributions/2981729/
Madison spring 2018 27Baremetal provisioning in the CERN cloud : Ironic Madison spring 2018 28
Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour HEPiX
Networking & Security
28 Juin 2018Planning new datacenter network architecture (WDC, Budapest)
Openstack Networks
Usage du VPN (OpenVPN)
◦ Nombre limité de projets / utilisateurs
Openstack provider VLANs
Virtual Firewall / VPN service per project
https://indico.cern.ch/event/676324/contributions/2998742/
Madison spring 2018 30AGLT2 Site Update
IPV6 (perfSONAR + dCache) - Dual-Stack
Envisage d'intégrer IPV6 sur tous les WN et tests SDN
Open vSwitch "SDN/NFV" sur les noeuds dcache : LHCONE point-to-
point testbed
◦ SDN : Software-Defined Networking
◦ NFV : Network Functions Virtualisation
Appel lancé pour tester "SDN/NFV" pour les sites Atlas dans le cadre du
groupe de travail HEPIX-NFV : MWT2 et KIT intéressés
https://indico.cern.ch/event/676324/contributions/2987387/
Madison spring 2018 31Deployment of IPv6 on WLCG - an update from the HEPiX IPv6 working group ATLAS jobs : « IPv6 only » Frontier : Dual-Stack (en cours de migration) FTS : Taux de transfert meilleur en ipv6 (15-20%) ? perfsonar : Dual-Stack https://indico.cern.ch/event/676324/contributions/2973706/ Madison spring 2018 35
Network Functions Virtualization Working Group Update Madison spring 2018 36
Network Functions Virtualization Working Group Update
Challenges
◦ Les usages évoluent, prolifération des données, intégration du cloud public
◦ La technologie évolue (SDN/NFV)
◦ Plusieurs succès « point-to-point » LHCOPN/LHCONE
Primary challenge is getting end-to-end!
Le logiciel va jouer un rôle majeur au niveau « réseau » à moyen terme
◦ Quelles seront les technologies de demain ?
◦ Une automatisation du réseau est possible en production et à grande échelle
◦ Certains opérateurs cloud ont déjà déployé du NFV en production
Se préparer à une augmentation du trafic réseau
◦ Esnet LHCONE : 118% d’augmentation l’année dernière
◦ GEANT reported LHCONE peaks of over 100Gbps with traffic increase of 65% in the
last year.
◦ This has caused stresses on the available network capacity due to the LHC performing
better than expected, but the situation is unlikely to improve in the long-term
Madison spring 2018 37Network Functions Virtualization Working Group Update
Le but du WG est d’inciter les différents sites à tester et déployer
(ensemble) les technologies de virtualisations du réseau
Phase I : Exploration & évaluation
◦ Compute : OpenStack/Kubernetes, principalement pour les activités intra-site
◦ Stockage distribué : Transpferts « end-to-end » pour les activités inter-site
Phase II : Déploiement
◦ Planning
◦ Implémentation, configuration, performances
Tour d’horizon des technologies SDN/NFV
◦ Open vSwitch : Automatisation massive du réseau
◦ Controlleurs : OpenDaylight, OpenContrail, etc.
https://indico.cern.ch/event/676324/contributions/2984916/
Madison spring 2018 38Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules
Retour HEPiX
Computing & batch – IT facilities
BONUS : HTCondor Week
28 Juin 2018Computing & batch
● Benchmarks
– HS06 pas cassé mais trop vieux. SPEC17 pressenti. Volonté de containeriser une
suite pour les benches.
– Spectre/Meltdown : peu/pas de problèmes de perf, mais une nouvelle vague de
vulnérabilités arrive
● WLCG working group créé pour
optimiser le rapport entre ressources nécessaires et budgets possibles
● le HPC se montre dans WLCG
– Piz Daint à Lugano (CSCS)
– Migration de NERSC vers son Cray « Cori »
● : computing sur le DAS car les machines du CERN sont toutes les mêmes
● BNL réorganise son batch
– Regroupement de pools HTCondor (et travail sur l’entrée des jobs multi-coeurs)
– Travail sur Jupyter
CR HEPiX@Madison 44IT facilities
● ExDeMon : monitoring de métriques du CERN. Analyse des métriques
basées sur des comportements réguliers normaux ou au contraire sur
des erreurs observées dans le passé.
● BNL, nouveau DC : nouvelles salle de 2009 déjà remplie : utilisation
d'un container en attendant 2021 et une probable extension.
● Wigner présente sa toute nouvelle archi réseau
● Innondation de CNAF : pertes pas si énormes, mais quand même
quelques disques Huawei perdus, et pas mal de cassettes en
récupération. Déménagement espéré
CR HEPiX@Madison 45IT facilities
● Tendances du marché :
– Stagnation du marché. Marché des smartphones saturé => Les gros
investissements pour miniaturiser vont donc être moins rentables :
fin de la loi de Moore pour des raisons financières ?
– RAM : prix envolés, technos qui progressent plus très vite
– HDD : rapport capacité/prix qui ne croit plus aussi vite
– écart de prix HDD/SSD qui devrait peu se combler
– marché des bandes qui décroit, plus que 2 fabricants (Sony et
Fujifilm)
CR HEPiX@Madison 46IT facilities
Tendances du marché, conclusions :
●
Consolidation des marchés un peu inquiétante, surtout avec
une progression perf/prix qui ralentit
●
Pas mal d’innovations centrées sur le machine learning
●
Toujours 99% de PDM pour Intel sur les serveurs
●
Les SSD ne deviendront probablement pas compétitifs sur du
stockage de masse à moyen terme
●
Tarifs RAM qui devrait baisser fin 2018
●
Attention au marché des bandes, à suivre de très près =>
création d’un groupe de travail
●
Groupe de travail proposé pour suivre
l’évolution des technosHTCondor Week
● 19ème HTCondorWeek, 21-24 mai 2018
● 34 ans de HTCondor
● 1996 : premier talk pour distinguer le HTC du HPC
● 102 participants, 10 d'HEP. Recherche et compagnies
privées
CR HEPiX@Madison 48HTCondor Week : annonces
● AFS/Kerberos : HTCondor 8.8 (été 2018) va intégrer le
support des tokens OpenAFS ! Merci DESY, le CERN et
les devs HTCondor pour ce travail !
● Le CERN voit une consolidation autour de HTCondor-
HTCondor-CE + (parfois) Slurm/ARC-CE (cf. slide
suivant). Ils ont de la prod depuis 2016, en
augmentation.
CR HEPiX@Madison 49HTCondor Week : à noter dès maintenant CR HEPiX@Madison 50
HTCondor Week : éléments intéressants pour le CC
● Multi-coeurs : exemple de multi-coeurs et de préemption
● HTCondor pour le parallèle : robuste mais rudimentaire.
Sinon, beaucoup de sites couplent Condor à Slurm, avec
parfois une seule interface de soumission
● Monitoring : des sites ont développé leur propre solution,
Fifemon utilise elasticsearch
● CNAF a développé un accounting personnalisé dans
PostgreSQL
● Singularity : intégration faite mais améliorable
● Pegasus : Pousser la gestion de workflow plus loin que ce
que DAGMan (l'outil intégré à Condor) permet.
CR HEPiX@Madison 51HTCondor Week : à noter
● Jupyter : l'exécution interactive est un gros challenge ; BNL
en avance, mais pas de solution complète à ce jour
● Python bindings : Après la CLI, une UI Python. Obejctif : iso-
fonctionnalité avec la CLI.
● SciTokens : passer d'une authorization basée sur les
identités à une basée sur les capabilities => ne pas avoir à
décliner son identité
● clouds propriétaires : condor_annex pour s'intégrer à AWS,
bientôt Azure et Google.
CR HEPiX@Madison 52HTCondor Week : Au delà du CC
● Communauté HTCondor très large, bien au delà de HEP :
talks sur la régénération d'un genou, le suivi des forêts du Yellowstone,
la médecine prédictive et statistique, l’hydrologie en milieu urbain,
l’industrie militaire, ..
● Rappel d’un écologue : besoins de computing croissants,
mais pas la culture computing et CLI
=> Penser à rendre le calcul simple et accessible.
● Dreamworks doit rendre l'utilisation la plus simple possible, et a de gros
enjeux financiers sur l'accounting : développement d'une interface
spécifique pour un suivi fin par les utilisateurs eux-mêmes.
● Le CHTC à Madison fournit infra de calcul et support à destination
d'utilisateurs extérieurs
● Team de développeurs : semble très à l'écoute des demandes features
et support.
CR HEPiX@Madison 53HTCondor Week : Au delà du CC CR HEPiX@Madison 54
See You In Madison/Wisconsin!
20-Oct-2017 HEPiX Wrap-Up - Helge.Meinhard at CERN.chVous pouvez aussi lire
