DISPLAY : distributed processing for very large arrays in radioastronomy
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
DISPLAY :
distributed processing for
very large arrays in radioastronomy
Colloque MASTODONS
A. Ferrari UNS/CNRS/OCA
22 et 23 janvier 2015
1
DISPLAY :
distributed data processing for
very large arrays in radioastronomy
Colloque MASTODONS
A. Ferrari UNS/CNRS/OCA
22 et 23 janvier 2015
2
Plan de la présentation
◮ Contexte scientifique : les très grands réseaux d’antennes pour la
radioastronomie
◮ Deux axes principaux :
1. Reconstruction d’image par les très grands réseaux d’antennes.
2. Techniques d’optimisation en grande dimension.
◮ Bilan et faits marquants en 2014.
3Principe de l’interférométrie
4Principe de l’interférométrie (cont.)
◮ Les données sont les visibilité complexes :
~
B u~2 − u~1
hE~1 , E~2 i = TF de l’objet à la fréquence spatiale =
λ λ
5Nouvelle génération de radiotélescopes
« Le passé »
Le futur !
◮ Avantages : très grand champs de vue, très flexibles et très économiques.
◮ Inconvénients : complexité du système, débit de données, traitements.
« Software telescopes »
6Un exemple : LOFAR (LOw Frequency ARray)
◮ Une station : 96 LBA, 48 HBA.
◮ jusqu’à 488 faisceaux simultanément.
◮ 256 bandes de fréquences.
◮ centralisé à l’Université de Groningen par
réseaux optiques, ≈ 1 terabit/seconde.
7Effet de la ionosphère
◮ Modèle « idéal » :
v = DF i + n. F : matrice de Fourier, D : matrice de décimation.
◮ Reconstruction 3D, (x, y , λ).
◮ Effets de la ionosphère et calibration :
Iono
sph
ère
re
Ionosphè
◮ b : matrice de Fourier « calibrée ».
Modèle : F → F
◮ b i + n.
Espace de Fourier : v = D F
◮ b + e avec H
Espace image : i D = Hi b †D †D F
b =F b.
8SKA : Square Kilometre Array
◮ Australie et Afrique du sud.
◮ 1km2 de surface collectrice.
◮ >250 000 dipoles LF, 2500 dish...
◮ Sensibilité de 60 dB.
◮ phase 1 : 2018-2023 (10% de 1km2 ).
◮ phase 2 : 2023-2030.
◮ 14 exabyte/jour.
9Projet DISPLAY
◮ Problèmes inverses linéaires
◮ avec des erreurs de modèle : complexité de la calibration,
◮ de très grande taille. SKA : cubes hyperspectraux ≈ 80 TB,
◮ « difficiles » : grande variété et complexité morphologique des sources,
sensibilité cible de 60 dB.
◮ Optimisation en grande dimension.
◮ Optimisation stochastique.
◮ Optimisation distribuée.
Contributions méthodologiques, convergences, méthodes d’accélérations,...
10Consortium DISPLAY
◮ 20 C/EC/Ast.
◮ Lagrange (UNS, OCA) : reconstruction d’image, radioastronomie, optimisation.
A. Ferrari, C. Ferrari, C. Févotte, R. Flamary, T. Lanz, D. Mary, C. Richard.
◮ LTCI (Télécom ParisTech) : traitement d’antennes, optimisation stochastique et
distribuée.
P. Bianchi, O. Cappé, G. Fort, W. Hachem, E. Moulines, J.-F. Cardoso.
◮ SATIE (ENS Cachan) : traitement d’antennes éloignées, auto-calibration.
P. Forster, P. Larzabal, T. Rodet.,P. Forster
◮ Autres laboratoires : L2S et LEME. Traitement d’antennes et architecture.
R. Boyer, M.N. El Korso, N. Gac.
11Axe reconstruction d’image par les très grands réseaux
◮ CLEAN (Högbom 1974). « Famille » des algorithmes gloutons (MP, OMP. . . ).
Compétitif : modulaire (calibration), pas d’optimisation.
◮ Depuis 2005 :
◮ parcimonie en synthèse : (Mary et al. 2007), (Wenger et al. 2010), (Wiaux et al.
2009), (Li et al. 2011).
b
ı̂ = S{arg min ki D − HSγk 2
2 + µkγk1 , Sγ 0}
γ
◮ parcimonie en analyse : (Carillo et al. 2013)
b k22 + µkAi k1 , i 0}
ı̂ = {arg min ki D − Hi
i
◮ parcimonie en analyse et synthèse (Starck et al. 2014).
◮ Contribution : « Analyse par synthèse », (Dabbech et al. 2015). Itérativement :
1. Une analyse en ondelettes de i D produit un ensemble de coefficients de
corrélations significatifs.
2. Synthèse : la source correspondante est déconvoluée en minimisant l’écart entre
les corrélations mesurées et le modèle.
3. La source ainsi estimée est reconvoluée et soustraite de i D . 12Axe reconstruction d’image (cont.)
◮ Nombreuses comparaisons avec méthodes de l’état de l’art : CS-IUWT, SARA,...
◮ https://github.com/ratt-ru/PyMORESANE
13Axe reconstruction d’image (cont.)
◮ Détection dans les grandes masses de données.
1. Une petite fraction des données contient la signature d’une hypothèse alternative
de faible amplitude.
Alternative/amélioration du Higher Criticism (HC), (Mary et al. 2014).
2. Détection d’une alternative prise dans un dictionnaire donné.
Réduction de dictionnaire par un critère robuste minimax (Suleiman et al. 2014a).
◮ Calibration et traitement d’antennes.
1. Traitement de données pour les réseaux éloignés, (Bosse et al. 2015).
2. Exploitation des structures particulières des réseaux, (Haardt et al. 2014).
◮ Séparation de sources. Best Student Paper Award IEEE ICASSP’14 (Sun et al.
2014).
◮ Organisation de deux sessions spéciales à IEEE SAM’2014 (Sensor Array and
Multichannel Signal Processing Workshop) :
Traitement d’antennes dans des conditions critiques telles que l’absence de
calibration, l’erreur de modèle ou un faible rapport signal à bruit.
14Axes techniques d’optimisation en grande dimension
◮ Optimisation non convexe stochastique
min f (θ) + g (θ)
θ
lorsque f régulière non convexe, f et ∇f incalculable et g convexe.
◮ Méthodes de gradients proximaux avec approximation Monte Carlo de ∇f
◮ Approche adaptée au cas (i) de très grands jeux de données, (ii) du traitement
en ligne des observations.
◮ Stratégie d’approximation stochastique, Stratégie par mini-batch.
◮ Contributions :
1. Méthodes de Monte Carlo adaptatives, robustes à la très grande dimension (Fort
et al. 2014 ; Schreck et al. 2013).
2. Analyse des algorithmes gradient-proximaux stochastiques (Atchade et al. 2014).
◮ Régularisation non convexe. Ensembles actifs. (Boisbunon et al. 2014a).
15Axes techniques d’optimisation en grande dimension (cont.)
◮ Optimisation distribuée. Collaboration LTCI/Lagrange.
◮ Le jeu de données est partitionné en sous-ensembles : chaque sous-ensemble est
traité par une machine dédiée (agent).
◮ Étapes d’optimisation locales des agents et de dialogue entre les agents.
◮ Contributions portent sur l’analyse d’algorithmes d’approximation stochastique
distribués.
1. Effet du protocole de communication (Morral et al. 2014).
2. Versions asynchrones des algorithmes (Bianchi et al. 2014).
3. Algorithmes multitâches « collaboratifs » : agents regroupés en clusters avec
chacun un jeu de paramètres propre à estimer (Nassif et al. 2014b).
◮ Organisation de deux sessions spéciales à IEEE MLSP’2014 (Machine Learning
for Signal Processing) :
Méthodes d’apprentissage pour le traitement des masses de données et
méthodes bayésiennes non paramétriques en apprentissage
16DISPLAY : Bilan et faits marquants en 2014
◮ Une compréhension commune des problèmes.
◮ ANR MAGELLAN :
Méthodes d’apprentissage pour les très grands
réseaux d’antennes en radioastronomie
KickOff le 16 janvier 2015.
◮ Nicolas Gac, L2S : adéquation algorithme architecture,
Thomas Rodet, SATIE : problèmes inverses en grande dimension,
Jean-François Cardoso, LTCI : traitement de données astro.
◮ Workshop organisé avec le projet GARGANTUA
Stochastic and Distributed Optimization
Une trentaine de participants.
◮ 30 publications « MASTODONS » pour 2014.
17DISPLAY
18Publications DISPLAY
Atchade, Yves F., Gersende Fort et Eric Moulines (2014). “On stochastic proximal gradient algorithms”. In :
eprint : 1402.2365. url : http://arxiv.org/abs/1402.2365.
Bernhardt, S., R. Boyer, Bo Zhang, S. Marcos et P. Larzabal (2014). “Performance analysis for sparse based
biased estimator : Application to line spectra analysis”. In : Sensor Array and Multichannel Signal
Processing Workshop (SAM), 2014 IEEE 8th, p. 365–368.
Bianchi, Pascal, Walid Hachem et Franck Iutzeler (2014). “A Stochastic Coordinate Descent Primal-Dual
Algorithm and Applications to Large-Scale Composite Optimization”. In : arXiv preprint arXiv :1407.0898.
Boisbunon, A., R. Flamary et A. Rakotomamonjy (2014a). “Active set strategy for high-dimensional
non-convex sparse optimization problems”. In : International Conference on Acoustic, Speech and Signal
Processing (ICASSP).
Boisbunon, A., R. Flamary, A. Rakotomamonjy, A. Giros et J. Zerubia (2014b). “Large scale sparse
optimization for object detection in high resolution images”. In : IEEE Workshop in Machine Learning for
Signal Processing (MLSP).
Bosse, J., A. Ferréol et P. Larzabal (2015). “A spatio-temporal array processing for passive localization of
radio transmitters”. In : IEEE Trans. on signal processing. Accepted. To be published.
Boyer, R. et P. Larzabal (2014). “Special session Sparsity in array processing : methods and performances”.
In : Sensor Array and Multichannel Signal Processing Workshop (SAM), 2014 IEEE 8th.
Dabbech, A., C. Ferrari, D. Mary, E. Slezak et O. Smirnov (2015). “MORESANE : MOdel REconstruction by
Synthesis-ANalysis Estimators. A sparse deconvolution algorithm for radio interferometric imaging”. In :
Astronomy & Astrophysics. accepted. To be published.
Djuric, P. et A. Ferrari (2014). “Special session Bayesian Nonparametric Methods for Machine Learning”. In :
Machine Learning for Signal Processing (MLSP), 2013 IEEE International Workshop on.
El Korso, M. N., R. Boyer et S. Marcos (2014a). “A root-finding technique for direction of arrival estimation”.
In : Detection, Architecture and Technology Workshop (DAT-2014).
El Korso, M. N., A. Renaux et P. Forster (2014b). “CRLB under K-distributed observation with
parameterized mean”. In : Sensor Array and Multichannel Signal Processing Workshop (SAM), 2014 IEEE
8th, p. 461–464.
19Publications DISPLAY (cont.)
El Korso, M. N., A. Renaux et P. Forster (2014c). “Special session Dealing with Non-Standard Conditions in
Array Processing and Spectral Analysis”. In : Sensor Array and Multichannel Signal Processing Workshop
(SAM), 2014 IEEE 8th.
Ferrari, A., D. Mary, R. Flamary et C. Richard (2014). “Distributed image reconstruction for very large arrays
in radio astronomy”. In : IEEE Sensor Array and Multichannel Signal Processing Workshop (SAM),
p. 389–392.
Fort, G. (2013). “Convergence of the Wang-Landau algorithm”. In : International Conference on Scientific
Computation and Differential Equations.
— (2014a). “Convergence and Efficiency of the Wang Landau algorithm”. In : Computational methods for
statistical mechanics.
— (2014b). “Sampling multimodal densities on large dimensional spaces”. In : 7th Journées de Statistique
du Sud, Barcelone (Spain).
— (2014c). “Stochastic Proximal Gradient Algorithm”. In : Journée Phone & Stat, Sélection dans les
modèles mixtes.
Fort, G., B. Jourdain, T. Lelievre et G. Stoltz (2014). “Self-Healing Umbrella Sampling : Convergence and
efficiency”. In : eprint : 1410.2109. url : http://arxiv.org/abs/1410.2109.
Haardt, M., M. Pesavento, F. Roemer et M. N. El Korso (2014). “Communications and Radar Signal
Processing”. In : 1re éd. T. 2. Academic Press Library in Signal Processing, Elsevier. Chap. Subspace
Methods and Exploitation of Special Array Structures, p. 651–717. isbn : 978-0-12-411597-2.
Mary, D. et A. Ferrari (2014). “A non-asymptotic standardization of binomial counts in Higher Criticism”.
In : Information Theory (ISIT), 2014 IEEE International Symposium on, p. 561–565.
Morral, Gemma, Pascal Bianchi et Gersende Fort (2014). “Success and Failure of Adaptation-Diffusion
Algorithms for Consensus in Multi-Agent Networks”. In : eprint : 1410.6956. url :
http://arxiv.org/abs/1410.6956.
Moulines, E. (2014a). “On Stochastic Proximal Gradient Algorithms”. In : Univ. of Florida, USA.
— (2014b). “On Stochastic Proximal Gradient Algorithms”. In : Journées MAS, session “Statistique et
Optimisation”.
20Publications DISPLAY (cont.)
Nassif, R., C. Richard, A. Ferrari et A. H. Sayed (2014a). “Performance analysis of multitask diffusion
adaptation over asynchronous networks”. In : Asilomar Conference on Signals, Systems, and Computers,
Pacific Grove, CA.
Nassif, Roula, Cédric Richard, André Ferrari et Ali H. Sayed (2014b). “Multitask diffusion adaptation over
asynchronous networks”. In : eprint : 1412.1798. url : http://arxiv.org/abs/1412.1798.
Ren, C., M. N. El Korso, J. Galy, E. Chaumette, P. Larzabal et A. Renaux (2014). “On the Accuracy and
Resolvability of Vector Parameter Estimates”. In : Signal Processing, IEEE Transactions on 62.14,
p. 3682–3694.
Richard, C. (2014). “Special session Machine Learning for Big Data”. In : Machine Learning for Signal
Processing (MLSP), 2013 IEEE International Workshop on.
Schreck, Amandine, Gersende Fort, Sylvain Le Corff et Eric Moulines (2013). “A shrinkage-thresholding
Metropolis adjusted Langevin algorithm for Bayesian variable selection”. In : eprint : 1312.5658. url :
http://arxiv.org/abs/1312.5658.
Suleiman, R.F.R., D. Mary et A. Ferrari (2014a). “Dimension Reduction for Hypothesis Testing in Worst-Case
Scenarios”. In : Signal Processing, IEEE Transactions on 62.22, p. 5973–5986. issn : 1053-587X.
— (2014b). “Subspace learning in minimax detection”. In : Acoustics, Speech and Signal Processing
(ICASSP), 2014 IEEE International Conference on, p. 3062–3066.
Sun, D.L. et C. Fevotte (2014). “Alternating direction method of multipliers for non-negative matrix
factorization with the beta-divergence”. In : Acoustics, Speech and Signal Processing (ICASSP), 2014
IEEE International Conference on, p. 6201–6205.
21Vous pouvez aussi lire
