Laboratoire Sciences et technologies de la musique et du son - (STMS) UMR 9912
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Le mot de la direction Les activités de recherche accueillies à l’Ircam s’inscrivent dans le cadre de l’unité mixte de recherche (UMR 9912) Sciences et techno- logies de la musique et du son (STMS), associant aux côtés de l’Ircam le CNRS, Sorbonne Université et le ministère de la Culture. Le nouveau contrat quinquennal 2019-2023 vise à répondre à plu- sieurs défis : l’intégration de la recherche artistique dans les struc- tures universitaires et la montée en puissance des thématiques art-science (avec, par exemple, la création des doctorats en arts) ; la restructuration du paysage parisien de la recherche ; la lisibilité et l’accroissement de l’attractivité de l’unité ; l’évolution de l’éco- système d’innovation français et le renouvellement apporté par les nouvelles méthodes de l’intelligence artificielle. L’activité de recherche à STMS est portée par sept équipes et se dis- tribue sur trois axes structurants : l’atelier du son, le corps musicien et les dynamiques créatives. L’UMR s’appuie pour les aspects contractuels et d’innovation sur le département IMR de l’Ircam (Innovation et Moyens de la recherche, sous la responsabilité d’Hugues Vinet) avec en particulier la création par l’Ircam d’un nouvel instrument de valorisation, la filiale Ircam Amplify, qui permettra une diffusion plus large des technologies issues du laboratoire. Enfin, j’ai le plaisir de souligner que depuis le début du contrat quin- quennal, STMS a accueilli 4 nouvelles ERC, ainsi que 4 nouveaux projets ANR, un résultat remarquable qui témoigne de la grande dynamique du laboratoire. Brigitte d’Andréa-Novel Directrice de l’UMR 9912, novembre 2020 3
Sommaire 7 Le laboratoire 8 Organigramme 9 Missions 10 Organisation et enjeux scientifiques 13 Liens institutionnels 14 Innovation et moyens de la recherche 15 Collaborations de recherche et partenariats récents 17 Les équipes 18 Systèmes et signaux sonores : audio/acoustique, instruments (S3AM) 19 Espaces acoustiques et cognitifs (EAC) 20 Perception et design sonores (PDS) 21 Analyse et synthèse des sons (AS) 22 Interaction son musique mouvement (ISMM) 23 Représentations musicales (RepMus) 24 Analyse des pratiques musicales (APM) 25 Les projets 26 C1. L’atelier du son 36 C2. Le corps musicien 46 C3. Les dynamiques créatives 63 Les logiciels 64 ADMix Tools 65 Antescofo 66 CataRT 67 IrcamLab TS 68 Max 69 Modalys 70 MuBu pour Max 70 OMax & co 71 OpenMusic 72 Orchid* 73 OSCar 74 Panoramix 75 Spat~ 76 Suivi de geste et de formes temporelles 76 SuperVP, Trax et bibliothèques 77 The Snail-Absolute Tuning 78 Le Forum Ircam 79 Les équipes
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 Organigramme Directrice B. d’Andréa-Novel Directeur adjoint J.-L. Giavitto Gestionnaires Pôle Ingénierie et prototypage A.-M. Vaudeville, CNRS Resp. E. Fléty V. Uscumlic, Ircam Coordination Mission recherche-création S. Benoit Resp. M. Noisternig Système et signaux sonores : Espaces acoustiques et cognitifs Perception et design sonores Analyse et synthèse des sons audio/acoustique, instruments Resp. O. Warusfel Resp. N. Miisdariis Resp. A. Roebel Resp. T. Hélie Interaction son musique Analyse des pratiques Représentations musicales mouvement musicales Resp. G. Assayag Resp. F. Bevilacqua Resp. N. Donin 8
Le laboratoire Missions Depuis sa création en 1977, l’Ircam a pour mission fondamentale de de thèses de doctorat, de stages de master et d’écoles d’ingénieurs susciter une interaction féconde entre recherche scientifique, déve- contribue à la formation par la recherche. Les compétences ainsi déve- loppement technologique et création musicale contemporaine. Cette loppées trouvent de nombreuses applications au-delà des probléma- articulation constitue le principal axe structurant de l’ensemble de ses tiques musicales, et font l’objet de projets réalisés en collaboration avec activités. L’un des enjeux majeurs est de contribuer, par les apports des industriels ou dans le cadre de programmes nationaux, européens des sciences et techniques, au renouvellement de l’expression musi- et internationaux. cale. Réciproquement, les problèmes spécifiques posés par la création contemporaine donnent lieu à des avancées scientifiques originales, Le développement effectue l’adaptation des connaissances, modèles et tant théoriques, méthodologiques, qu’appliquées, dont la portée dépasse prototypes issus de la recherche sous la forme d’environnements logi- largement le seul domaine musical. Cette dynamique de recherche ciels et d’outils technologiques. Les principales applications visent la originale, tournée vers la création artistique dans toute l’exigence et réalisation d’outils pour la création musicale, à travers la mise en œuvre la sensibilité qui s’y manifestent pour des modes de représentation et d’environnements ouverts et programmables, afin de pouvoir répondre à de manipulation élaborés du sonore et du musical, suscite des innova- des approches esthétiques très diverses, et d’intégrer les modèles issus tions scientifiques et technologiques dont les applications se déploient des travaux de recherche au fur et à mesure de leur avancement. Des dans des secteurs d’activité de plus en plus larges : professionnels de la versions simplifiées des logiciels, destinées à des cibles d’utilisateurs musique et du son, industrie, enseignement, public mélomane… Cette plus larges, rendent accessible la technologie produite dans le labora- médiation entre recherche et création musicales comporte en particulier toire sous forme de collections de produits : Ircam Tools (professionnels le développement d’outils logiciels et technologiques pour les musiciens de l’audio), IrcaMax (musique électronique live), etc. Le Forum Ircam, (compositeurs, interprètes, musicologues), à partir de modèles et pro- club d’utilisateurs des logiciels, favorise leur diffusion auprès d’une totypes élaborés par des équipes de recherche travaillant dans les dif- communauté internationale de professionnels de la musique et du son férents domaines en rapport avec la musique : informatique (langages, (compositeurs, artistes multimédia et plasticiens, ingénieurs du son, interfaces homme-machine, temps réel, bases de données), traitement sound designers, chercheurs, enseignants…), évaluée à près de 20 000 du signal et automatique, acoustique, perception et psychologie cogni- utilisateurs depuis sa création. Des cessions de licences sont également tive de l’audition, musicologie… accordées à des partenaires extérieurs, pour leur utilisation propre ou pour la commercialisation des logiciels. Elles peuvent porter sur des Les travaux reposent ainsi sur l’articulation de deux types d’activités applications complètes (telles que le logiciel Max licencié à la société complémentaires, la recherche et le développement, réalisées dans californienne Cycling’74 et comportant plusieurs milliers d’utilisateurs le cadre de l’unité mixte de recherche Sciences et technologies de dans le monde) ou sur des modules fonctionnels particuliers (analyse la musique et du son (UMR 9912 – STMS) soutenue par le CNRS, le et traitement audio, indexation, spatialisation, synthèse, etc.), intégrés ministère de la Culture et Sorbonne Université. dans les environnements commerciaux cibles. La recherche, source d’innovation, vise l’élaboration de connaissances en rapport avec les problématiques musicales. Interdisciplinaire par nature, elle inscrit son activité sous la forme de nombreuses colla- borations avec des laboratoires français et étrangers, avec des orga- nismes d’enseignement supérieur et avec des partenaires institution- nels et privés. L’accueil d’élèves-chercheurs et ingénieurs dans le cadre 9
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 Organisation et enjeux scientifiques Pour répondre à cette mission, le laboratoire est structuré en sept Le projet scientifique de l’UMR s’appuie sur ces 7 équipes qui s’orga- équipes qui se caractérisent par leurs ancrages théoriques et les objets nisent autour de 3 champs d’interaction : étudiés : • L’atelier du son ; • S3AM (Systèmes et signaux sonores : audio/acoustique, instru- • Le corps musicien ; ments) mobilise mathématiques appliquées (signal, système, • Les dynamiques créatives. contrôle, géométrie différentielle, analyse numérique), physique et mécatronique pour explorer, comprendre, reproduire ou inventer des C1. L’atelier du son systèmes multiphysiques produisant des signaux sonores (instru- Le son est ici compris comme un phénomène physique (mécanique, ments de musique, voix) ; acoustique) mais aussi comme une information numérique engageant • EAC (Espaces acoustiques et cognitifs) s’appuie sur l’acoustique, des techniques mathématiques et informatiques (traitement du signal) le traitement du signal, la psychologie cognitive de l’audition et les pour traiter des flux, des contenus et des scènes sonores, musicales, ou neurosciences pour la captation, l’analyse et la reproduction de multimédia. champs sonores et l’étude et la compréhension de la perception Le signal audionumérique est abordé sous ses deux aspects de source spatiale du son en contexte d’interaction multisensorielle ; et de champs. En tant que source, nous le caractérisons ou bien nous • PDS (Perception et design sonores) adresse la perception des sons le synthétisons, avec des contraintes de précision, de finesse et de qua- vocaux, musicaux et environnementaux, leur traitement émotionnel lité à même de répondre à l’exigence de la création contemporaine. Nos et les applications en design sonore à travers la psychoacoustique, recherches se focalisent donc sur les spécificités du signal musical et la psychologie, la cognition musicale et les neurosciences ; nous amènent à développer des modèles plus précis en les informant par • AS (Analyse et synthèse des sons) étudie le signal audionumérique la physique, la biomécanique, la perception et la cognition, ou encore en utilisant des théories et techniques de traitement du signal, des données musicales symboliques… L’extraction de descriptions plus statistique, apprentissage et reconnaissance des formes pour en symboliques, sémantiquement pertinentes, et le contrôle des modèles extraire toutes sortes de caractéristiques, pour le synthétiser selon par des données qualitatives de haut niveau (par exemple, la prosodie des propriétés spécifiées, ou encore pour le transformer en fonction dans le cas de la synthèse de la voix chantée) sont deux des objectifs du de besoins compositionnels ou autre. laboratoire dans ce domaine. En tant que champs, nos études visent à • ISMM (Interaction son musique mouvement) focalise ses recherches comprendre ses représentations spatiales et les coupler avec les repré- sur l’interaction « incarnée » (embodied interaction) entre humains sentations temps/fréquence, à capter ce champ avec une grande résolu- et médias sonores et musicaux : captation du geste, programmation tion, et à le reconstruire de manière réaliste. réactive et temps réel, apprentissage, interface tangible et multimo- dale, techniques de synthèses sonores ; C2. Le corps musicien • RepMus (Représentations musicales) travaille sur les structures Le domaine visé est celui de la musique et du son perçus et produits par formelles de la musique et les environnements créatifs pour la com- des humains qui interagissent avec un environnement, une machine ou position, l’analyse et l’interaction musicien-machine à partir d’archi- d’autres êtres humains. Le sonore ne se réduit plus à une vibration, mais tectures et d’approches langages, de formalismes algébriques, et de devient un véhicule permettant l’interaction, qui est produit par un corps techniques d’IA telles que l’optimisation et l’apprentissage ; biologique et qui agit sur les individus et les comportements. Ce domaine • APM (Analyse des pratiques musicales) développe une musicologie est abordé en se positionnant sur quatre problématiques : le geste, la interdisciplinaire des œuvres et des pratiques musicales contempo- voix, la perception spatiale du son et son intégration multisensorielle, raines, en considérant les points de vue historique, sociologique, en étudiant les liens entre contenus sonores ou musicaux et valence anthropologique, psychologique, philosophique et en privilégiant émotionnelle. des approches « outillées », souvent en lien avec les autres équipes de l’UMR. 10
Le laboratoire C3. Les dynamiques créatives Malgré la diversité des travaux menés, le laboratoire possède une iden- Si la musique est un phénomène produit et perçu par un corps qui tire tité et une visibilité fortes à la fois du point de vue de ses objets d’études parti des objets physiques et qui organise un monde sonore, elle est et de son positionnement scientifique. Trois principes importants qui aussi pensée, imaginée – ou rêvée – et parfois formalisée avant d’être caractérisent la politique scientifique de l’UMR concourent à cet état réalisée. La question de la créativité émerge aujourd’hui comme une de fait, pallient la faible masse critique des équipes et permettent au problématique scientifique1 et comme un paradigme de travail utile pour laboratoire de produire des contributions scientifiques marquantes et de la conception de systèmes intelligents. Contrairement à ce que pourrait développer des outils innovants. laisser penser une analyse superficielle des nouvelles directions prises par l’IA 2, le défi ne nous semble pas tant être celui de l’imitation que 1. Adossement recherche-création celui du compagnonnage : quelles sont les idées et les outils nécessaires Le premier principe est l’adossement des thématiques de recherche à pour inspirer, guider et assister l’artiste dans son processus de création la création musicale contemporaine dans une interaction féconde3. Cet et faire ainsi de la machine un partenaire. adossement permet une grande diffusion des résultats de recherche. Nous opposons donc ici une approche qui vise à remplacer l’homme en L’interaction recherche-création est soutenue par plusieurs dispositifs rendant la machine autonome et celle qui vise à augmenter les capacités récurrents. Nous en citerons quatre. humaines. On peut alors parler d’ intelligence augmentée. • Les équipes de l’UMR participent aux productions artistiques de Dans le domaine artistique, la première approche peut éventuellement l’Ircam, soit directement, soit à travers les réalisateurs en infor- amener à éclairer les mécanismes qui sont remplacés, mais la seconde matique musicale (RIM) qui servent de courroie de transmission ouvre quant à elle des dimensions créatives inédites susceptibles de entre les artistes et les prototypes et les outils élaborés dans le renouveler profondément la relation science-musique. laboratoire. Leur rôle est essentiel pour adapter les temps longs de S’appuyant sur un de nos atouts majeurs – notre intimité avec la créa- la recherche au temps nécessairement plus limité des productions tion musicale –, les travaux de STMS visent à éclairer et documenter le artistiques. processus créatif chez des compositeurs ; à formaliser, analyser, calculer • Les projets de résidence en recherche artistique permettent aux et produire des structures symboliques musicales en interaction avec équipes d’interagir avec un créateur qui propose un projet de les visées des créateurs ; à développer de nouveaux outils d’écriture recherche et vient en résidence à l’Ircam pour une durée d’un à adressant les enjeux contemporains de la notation ; et à appréhender les trois mois. Ces projets, détachés du contexte et des contraintes de dispositifs assistant la création collective. production, permettent de développer un travail en amont. Depuis 2012, 49 résidences ont été sélectionnées par un appel international Ces trois champs assurent ainsi une lisibilité de notre recherche et annuel via la plateforme du réseau ULYSSES 4. La plupart des artistes couvrent l’ensemble de nos activités, puisqu’ils adressent le monde en résidence sont étrangers et la moitié des projets impliquent au sonore et musical dans sa dimension physique et numérique, sa per- moins deux équipes. ception et sa production par un sujet humain, en lien avec les enjeux de • Apparu en 2013, le dispositif des thèses en art permet de développer création et de créativité. une interaction sur un temps long avec un artiste qui poursuit un Parmi ces sujets d’étude, mentionnons quelques focus ou objets d’étude travail de thèse à plein temps. Ce type de doctorat permet d’arti- que nous souhaitons investiguer avec une attention plus particulière culer finement pratique artistique et approche théorique d’une part, dans les prochaines années : recherche et création d’autre part. • La modélisation multiphysique • Enfin, les interactions recherche/création sont ancrées dans des • Le geste expressif expert rencontres avec des individus porteurs de leurs problématiques • Les CP&HS (Cyber Physical & Human Systems) singulières. Pour développer un dialogue plus large avec la com- • L’apport des neurosciences, sciences cognitives et les liens avec la munauté des compositeurs, et repérer plus systématiquement les santé thématiques émergentes, l’Ircam a expérimenté en 2017 des jour- • IA et créativité musicale nées de rencontres et d’échanges. Ces journées « Méridien » sont • Les nouvelles dimensions de la notation musicale appelées à être renouvelées. 1. Voir les nouvelles conférences internationales « Digital Intelligence (#DI)», « Musical 3. Ce modèle d’interaction, dans lequel l’Ircam a été pionnier, est aujourd’hui reconnu MetaCreation (MUME)», « International Conference on Computational Creativity et s’impose avec par exemple le projet H2020-ICT Vertigo (Adding socio-economic (ICCC) » auxquelles STMS participe régulièrement depuis leur fondation, ou encore value to industry through the integration of artists in research and open innovation l’initiative européenne FET « Creative ICT » qui a financé cinq projets en 2016. processes) qui a débuté fin 2016 porté par l’Ircam : vertigo.ircam.fr/ 2. Comme le projet Magenta développé par Google : « [how to develop] algorithms that 4. www.ulysses-network.eu can learn how to generate art and music. » 11
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 2. Un aller-retour entre applications finalisées et réflexions théoriques Le deuxième principe qui caractérise la stratégie scientifique de l’UMR est de toujours valider les réflexions théoriques par des développements qui sont utilisés en dehors des équipes et, à l’inverse, d’étayer les déve- loppements applicatifs par une réflexion épistémologique ou théorique. Dans cet aller-retour, l’application logicielle ou matérielle agit dans le laboratoire comme un indispensable dispositif expérimental. Les pro- totypes développés par les chercheurs le sont souvent dans le cadre de projets collaboratifs, ce qui entraîne leur utilisation par des parte- naires extérieurs et aussi dans les productions artistiques, confrontant les résultats du laboratoire aux exigences du compositeur et à son oreille aguerrie. Au-delà de l’expérimentation à travers les projets artistiques propre à l’Ircam, les logiciels atteignent aussi un public plus large à tra- vers le Forum Ircam1 qui fait l’objet d’une coordination transversale à l’Ircam (plus de 20 000 membres professionnels dans le monde). 3. Un très large ancrage national et international Le troisième principe est celui d’un ancrage fort du laboratoire dans le paysage national et international de la recherche au plus haut niveau, dans toutes les communautés scientifiques auxquelles sont rattachées les différentes équipes de recherche. Ce point fait l’objet du paragraphe suivant. 1. forumnet.ircam.fr 12
Le laboratoire Liens institutionnels L’UMR s’appuie sur les liens naturels et diversifiés entre ses équipes Le laboratoire est également associé à une chaire d’excellence de la de recherche mais tire aussi parti de l’ancrage de ses membres au sein Fondation Sorbonne Université, MouVIE, sur la mobilité et la qualité de d’une communauté régionale, nationale et internationale. En atteste en vie en milieu urbain, financée par PSA/Renault jusqu’en 2020. particulier le grand nombre d’invitations des chercheurs du laboratoire (séminaires, conférenciers invités), leur participation dans les comités de Au niveau international, l’UMR entretient des liens réguliers avec les programme et les conférences et colloques qu’ils ont initiés ou organisés. centres internationaux de recherche en informatique musicale les plus prestigieux, comme le CCRMA à Stanford University, le CNMAT à Au niveau national, STMS est le seul laboratoire de recherche inscrit UC Berkeley, le MIT Medialab à Boston, le CIRMMT à McGill University, dans l’accord-cadre Culture-CNRS 2016-2020 dans le domaine musical1. ou encore en Europe le MTG à l’UPF Barcelone, le département SPA de l’Aalto University à Helsinky et le C4DM à Queen Mary University Au niveau régional, le laboratoire est partenaire du parcours de master (chercheurs invités, échange de doctorants, montage de projets com- de recherche (M2) ATIAM (Acoustique, traitement du signal et infor- muns 5). Le laboratoire s’est aussi rapproché d’autres grands centres matique appliqués à la musique, parcours Systèmes et applications universitaires avec des workshops dédiés organisés aux universités de réparties), accueilli et coordonné par l’Ircam dans le cadre du master Singapour, Columbia, NYU New York et Abu Dhabi, Campinas, Sao Paulo, Sciences et technologie de Sorbonne Université, en collaboration avec Shanghai, et à l’EPFL. Télécom ParisTech. Le laboratoire est aussi partenaire du master Design Sonore coorganisé avec l’EPCC – École supérieure des beaux-arts Tours Angers Le Mans, l’université du Maine et l’ENSCI – Les Ateliers. Ces deux formations n’ont pas d’équivalent sur le territoire français. Au niveau international, les cursus comparables sont plutôt orientés « Music Technology » et, inscrits dans des facultés de musique, s’adressent plutôt à des étudiants dont la formation initiale est la musique. Les membres du laboratoire interviennent aussi ponctuellement dans plusieurs autres masters (Grenoble, Strasbourg, Marseille). STMS est un laboratoire d’accueil des écoles doctorales de Sorbonne Université dans ses domaines de compétence, en particulier EDITE (École doctorale d’informatique, télécommunications et électronique de Paris), SMAER (Sciences mécaniques, acoustique, électronique et robotique) et ED3C (Cerveau, cognition, comportement). Dans le cadre de la ComUE Sorbonne Universités et de l’Idex SUPER, une nouvelle filière doctorante destinée aux compositeurs et intitulée Doctorat de musique – Recherche 1. Voir goo.gl/jmr9BE Deux autres UMR hébergent des programmes soutenus par le MCC sans que le ministère soit une cotutelle : le LaBRI pour l’hébergement du Studio en composition, a vu le jour à la rentrée universitaire 2014. de création et de recherche en acoustique musicale (SCRIME) et le LAM pour le pro- L’Ircam est membre fondateur2 du Collegium Musicæ, institut qui mène gramme documents et archives sonores et les travaux du GIS-SPADON. une action structurante au sein de la ComUE Sorbonne Universités. Trois 2. Avec 8 autres acteurs majeurs de l’éducation et de la recherche musicale : IReMus, axes thématiques sont couverts : analyse & création, instruments & Institut de recherche en musicologie (UMR 8223 - CNRS - Paris-Sorbonne - BnF - MCC) ; LAM, Lutheries, Acoustique, Musique - Institut Jean le Rond d’Alembert (UMR interprètes et archive & patrimoine. 7190 - CNRS – Sorbonne Université – ministère de la Culture) ; Musée de la musique, L’UMR 9912-STMS participe à deux Laboratoires d’Excellence (LabEx) : Cité de la musique - Philharmonie de Paris : Centre de recherche sur la conserva- • le LabEx SMART 3 qui se focalise sur les interactions Humains- tion (USR 3224 - CRCC - LRMH - ECR Musée de la musique) ; Unité systématique et catégorisation culturelles (UMR 7206 - CNRS - MNHN - Paris 7) ; Pôle Supérieur Machines et qui réunit cinq laboratoires de Sorbonne Université Paris-Boulogne-Billancourt (PSPBB) ; Chœur & Orchestre Sorbonne Universités ainsi que Télécom ParisTech et le LUTIN (laboratoire sur les usages (COSU) ; UFR Musique et musicologie (Paris-Sorbonne) ; UFR d’Ingénierie (Sorbonne associés à la Cité des sciences et de l’industrie). Université). 3. Les laboratoires SU du LabEx SMART sont l’ISIR, le LIP6, le laboratoire Jacques Louis • le LabEx CAP4 à travers l’équipe APM (Analyse des pratiques musi- Lions, le L2E et STMS : www.smart-labex.fr/ cales). CAP étudie les arts, la création et les patrimoines pour com- 4. Le LabEx CAP labexcap.fr regroupe dix-sept laboratoires universitaires et d’ensei- prendre et accompagner les mutations de la société contemporaine gnement supérieur (émanant de : l’EHESS, l’EPHE, le CNAM, l’ENC, l’ENSCI, l’ESCP dans un contexte de mondialisation économique et culturelle. Europe, l’ENSAPLV, l’INHA, l’INP, l’Ircam, le LCPI ParisTech, l’université Paris 1 Panthéon-Sorbonne) et huit établissements patrimoniaux et muséaux (BnF, Musée du Louvre, Centre Pompidou, musée du quai Branly – Jacques-Chirac, Musée des Arts décoratifs, Musée des Arts et Métiers, Sèvres – Cité de la céramique, La Cité de l’architecture et du patrimoine. 5. Ces projets sont financés de manières diverses : par exemple contrat bilatéral et finan- cement INRIA international, bourse Fullbright, programme international canadien, projets européens, etc. 13
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 Innovation et Moyens de la recherche Au cœur d’enjeux sociétaux et économiques croisant culture et techno- Spécificité de l’Ircam, la culture de développement technologique pro- logies de l’information, les recherches accueillies à l’Ircam se présentent fessionnel intégré à ses équipes de recherche aboutit à la production dans le paysage international de la recherche comme pôle de référence finalisée de modules fonctionnels optimisés, directement transférables. interdisciplinaire autour des sciences et technologies du son et de la Plus globalement, cette activité de développement se traduit par diverses musique et s’exposent en permanence aux nouveaux besoins et usages de formes de réalisation adaptées aux différentes catégories de cibles visées. la société. Cette médiation prend diverses formes en fonction des cibles Plus d’une dizaine d’environnements logiciels sont ainsi développés au et sphères d’activité concernées et est portée par le département IMR – sein des équipes (cf. Partie 4), perfectionnés de manière incrémentale en Innovation et Moyens de la recherche de l’Ircam qui est également en fonction des dernières avancées de la recherche, utilisés par les autres charge de la tutelle Ircam de l’UMR STMS et des infrastructures web et départements de l’Ircam pour leurs activités de production artistique informatiques de l’Ircam. et de formation (compositeurs, réalisateurs en informatique musicale, ingénieurs du son, instrumentistes, danseurs…) et diffusés dans le cadre La spécificité de l’Ircam est de réunir un large spectre de compétences du Forum Ircam auprès d’une communauté internationale de plus de scientifiques et technologiques, qui trouvent des applications dans de 20 000 utilisateurs professionnels. Des applications simplifiées dans leur nombreux secteurs d’activité, centrés sur la production et la diffusion usage en sont dérivées sous forme de produits logiciels dans le cadre de de la musique, du son, des arts numériques, des industries culturelles et différentes collections commerciales : Ircam Lab avec Plugivery, Ircam rayonnant dans tous les domaines faisant intervenir la dimension sonore : Tools avec Flux::, IrcaMax avec Ableton. design sonore (automobile, transports, environnement urbain), interfaces multimodales, réalité virtuelle et augmentée, simulation, etc. Fort de son L’Ircam est agréé par le ministère de la Recherche et de l’Enseignement savoir-faire de plusieurs décennies sur le management de l’innovation et supérieur au titre du Crédit Impôt Recherche et les prestations effectuées de la créativité collective, l’Ircam est également consulté sur ce thème par ses équipes pour le compte de partenaires privés bénéficient d’avan- par des directions de grands groupes (innovation, marketing, ressources tages fiscaux. Les liens avec l’industrie s’inscrivent dans de nombreux humaines, communication…). cadres de collaboration : projets de R&D nationaux et européens, fruits des recherches de l’UMR (une vingtaine en cours, dont un tiers coordonné Le modèle art-innovation de l’Ircam est étendu à tous les champs tech- par l’UMR), prestations de recherche, co-encadrement de thèses CIFRE, nologiques et artistiques dans le cadre de l’initiative STARTS1 (Science, accompagnement à la création de jeunes pousses (Phonotonic, Mogees, Technology and the Arts) de la Commission européenne : après avoir Niland (rachetée par Spotify en 2017), Antescofo et HyVibe parmi les plus coordonné le projet européen VERTIGO-STARTS Residencies organisant 45 récentes), prises de participation et cessions de licences. La fondation en résidences d’artistes en lien avec des projets de recherche technologique 2019 d’Ircam Amplify3, filiale de l’Ircam avec le soutien de la Banque dans toute l’Europe, l’Ircam participe aux projet STARTS Ecosystem et des Territoires et d’investisseurs privés, constitue un nouveau momentum MediaFutures appliquant la méthodologie de STARTS Residencies pour d’intensification de la diffusion commerciale des technologies et expertises la préfiguration de médias innovants faisant appel à de grandes bases de de l’Ircam. données informationnelles. Ce modèle s’expose dans le cadre du Forum annuel Vertigo2, symposium interdisciplinaire organisé au Centre Pompidou dans le cadre de l’événe- ment Mutations Création, associant artistes, chercheurs, ingénieurs et acteurs de l’innovation autour des enjeux actuels de la création artistique dans son rapport aux sciences et technologies. 1 starts.eu 2 vertigo.ircam.fr 3 ircamamplify.com 14
Le laboratoire Collaborations de recherche et partenariats récents 3D for All Kft (Hongrie) France Télévisions Orbe A-Volute Fratelli Piacenza SpA (Italie) OSU Ecce Terra Ableton (Allemagne) Fraunhofer (Allemagne) Parisson Acapela GENESIS (Genesis Acoustics) Parrot Arkamys Goldsmiths’ College (Royaume-Uni) Pathé Arte Grame Philharmonie de Paris Artipolis Haute École de musique de Genève (Suisse) Phonotonic Artshare (Belgique) HearDis! Corporate Sound GmbH (Allemagne) Playground (Suède) Athena Research Center (Grèce) I3S pluX - Wireless Biosignals SA Athens Technology Center (Grèce) ID Scenes PSA Peugeot Citroën bcom Inova+ (Portugal) Qwant Bass Nation (Finlande) Inria Radio France Bayerischer Rundfunk (Allemagne) Inserm-Sorbonne Université-faculté de médecine Reactable Systems (Espagne) BBC (Royaume-Uni) Institut Jean Le Rond d’Alembert Renault Bmat (Espagne) (Sorbonne Université) Sigma-Orionis Buffet-Crampon Instituts de recherche technologique Sky-Deutschland (Allemagne) Cabrilog (France) INTEGRAL Markt – und SNCF Centre de psychiatrie et neurosciences Meinungsforschungsges.m.b.H. (Allemagne) Somethin’Else Sound Directions Ltd (Royaume-Uni) (Inserm-université Paris Descartes) IreMus Soundtrack Your Brand (Suède) Centre de recherche de l’Institut du cerveau et ISAE SUPAERO StreetLab de la mœlle épinière (UMR 7225) ISIR Stromatolite Innovation Lab (Royaume-Uni) Centre hospitalier universitaire de Nice IUAV (Italie) Stupeflix Centre interfacultaire des sciences affectives (Suisse) Kainos (Royaume-Uni) Supelec CHU La Conception-Marseille Kantar Media Technicolor CHU-Liège (Belgique) KTH (Suède) Technische Universität Berlin (Allemagne) CNES Laboratoire de neurophysique et physiologie Technische Universität Wien (Autriche) CNMAT-UC Berkeley (UMR 8119, université Paris-Descartes) Testaluna (Italie) CNRS Telecom ParisTech Laboratoire des sciences, des procédés et Trinity College Dublin (Irlande) Conservatoire national supérieur de musique et des matériaux de l’université Paris-13 Trinnov-Audio de danse de Paris LaBRI Ubisoft CTEL LAGEP UC Limburg (Belgique) Culture Tech Lambde Limited (Roli) Universal (Royaume Uni) Dassault Systèmes LATMOS Universal Music Publishing Classical Deezer Libelium Comunicaciones (Espagne) Université Ben Gurion (Israël) Deutsches Forschungszentrum für Künstliche LIMSI Université de Bretagne occidentale Intelligenz (Allemagne) LMA Université de Fribourg (Suisse) Dualo Lovemonk S.L. (Espagne) Université de Gênes (Italie) Dubbing Brothers LPL Université de Thessalonique (Grèce) École de musique Schulich (Canada) LRI Université de Zaragoza (Espagne) École polytechnique fédérale de Lausanne (Suisse) Magix (Allemagne) Université Kiel(Allemagne) ECR-Musée de la musique Maha Université McGill (Canada) EHESS Makemusic Université Pompeu Fabra (Espagne) elephantcandy (Pays-Bas) Mathematics for more (Espagne) UVI Sounds and Software Ellinogermaniki Agogi (Grèce) Mogees Velti (Grèce) EMI Musée du Quai Branly – Jacques-Chirac Vi-live EMPAC (États-Unis) Musimap (Belgique) Vizion’r Ensad Niland Xtranormal esba TALM No Design Eurecom Sophia Antipolis Nokia (Finlande) Eurescom Novelab FINCONS SpA Novespace Flux :: Open University (Royaume-Uni) Flying Eye (Allemagne) Orange 15
2 Les équipes 17
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 Équipe Systèmes et signaux sonores : audio/acoustique, instruments (S3AM) Responsable : Thomas Hélie Activités — L’équipe Systèmes et signaux sonores : Audio/acoustique, instruments • Projet Ondes Martenot, p. 29 élabore des outils théoriques, technologiques et expérimentaux portant • Projet Sheng3, p. 30 sur les systèmes multiphysiques et les signaux sonores qu’ils produisent. Elle s’intéresse à explorer, comprendre, reproduire avec réalisme ou Domaines de compétence inventer des objets sonores en audio, en acoustique, avec une focali- — sation sur les instruments de musique jusqu’à la production de la voix. Acoustique, mécanique, systèmes non linéaires, automatique et Plus précisément, les objectifs sont de modéliser, simuler, identifier et contrôle, théorie du signal, géométrie différentielle, analyse numerique, optimiser ces systèmes (voix, musicien/instrument, haut-parleurs, effets expérimentation, mécatronique, lutherie réelle et virtuelle, synthèse électroniques audio, etc.), avec pour particularité de s’appuyer sur la sonore. physique pour faire émerger des structures intrinsèques et en bénéficier. L’équipe élabore des méthodes d’analyse, transformation, contrôle et Collaborations simulation de sons et des outils d’aide à la conception, dans des para- — digmes virtuels, réels ou hybrides. Athena-RIC (Grèce), Cabrilog SAS, C2RMF-Louvre, C2RMF et Louvre- Dans cette démarche, l’approche globale «systèmes et signaux» apporte Lens, CHU Liège, GdR-GDM, École Centrale Lille, GIPSA-lab, HISOMA, une synergie dès la conception des outils, en connectant (et non sim- IJLRA-Sorbonne Université, INRAE, INRIA-Lille, INRIA-Bordeaux, plement en juxtaposant) plusieurs disciplines et champs scientifiques : IREMUS, ISAE-SUPAÉRO, LAGEP-Université Lyon-1, LaSiE-Université physique, théorie des systèmes et du contrôle, géométrie différentielle, de La Rochelle, LEOPOLY (Hongrie), LJLL-Sorbonne Univsersité, analyse numérique, traitement du signal, informatique, électronique, LMA-CNRS, LMD-ENS, LPL, Mines ParisTech, Musée de la musique. mécatronique et robotique. Les applications visées concernent les domaines scientifiques, artis- Équipe tiques, pédagogiques et de la santé. — Chercheurs : B. d’Andréa-Novel (Sorbonne Université), H. Boutin Thématiques et projets associés (Sorbonne Université), R. Caussé (émérite), T. Hélie (CNRS), D. Roze — (CNRS) – Ingénieur : R. Piéchaud – Doctorants : R. Muller, J. Najnudel, • Modélisation physique des instruments de musique et de la voix A. Thibault, V. Wetzel, M. Wijnand – Résidences/invités/collabora- • Synthèse sonore par modélisation physique tions longues : A. Falaize, F. Krouchi, H. P. Stubbe Teglbjærg, F. Silva, • Modélisation de systèmes physiques audio et de haut-parleurs J.-E. Sotty. • Plateformes expérimentales robotisées : archet robotisé, bouche artificielle robotisée pour le jeu des cuivres, appareil vocal robotisé à l’échelle 1:1 • Identification de systèmes non linéaires • Contrôle de systèmes non linéaires et contrôle d’instruments • Instruments augmentés, instruments hybrides • Projet Animaglotte (Système artificiel d’animation de larynx ex vivo), p. 33 • Projet Bass Holograms in Pune1 • Projet CAGIMA (Conception acoustique d’instrument de musique), p. 33 • Projet Finite4Sos2, p. 32 • Projet iMuSciCA, p. 33 • Projet Infidhem (Systèmes interconnectés de dimension infinie pour les milieux hétérogènes), p. 32 1 forum.ircam.fr/article/robert-piechaud-ircam/ pune.afindia.org/events/bass-holograms-a- musical-encounter-between-the-fkbass-an-augmented-bass-with-integrated-technology- and-the-rudra-veena/ 3 Collegium Musicae, www.iremus.cnrs.fr/fr/evenements/sheng-lorgue-bouche-des-di- 2 anr.fr/Projet-ANR-15-CE23-0007 zaines-de-sons-des-centaines-de-musique 18
Les équipes Équipe Espaces acoustiques et cognitifs (EAC) Responsable : Olivier Warusfel Activités — L’activité de recherche et de développement de l’équipe Espaces acous- Sur le plan musical, notre ambition est de fournir des modèles et des tiques et cognitifs est consacrée à la reproduction, à l’analyse/synthèse outils permettant aux compositeurs d’intégrer la mise en espace des et à la perception de scènes sonores. Les disciplines scientifiques de sons depuis le stade de la composition jusqu’à la situation de concert, l’équipe sont le traitement du signal et l’acoustique pour l’élaboration de contribuant ainsi à élever la spatialisation au statut de paramètre techniques de reproduction audio spatialisée et de méthodes d’analyse/ d’écriture musicale. Plus généralement, dans le domaine artistique, ces synthèse du champ sonore. Parallèlement, l’équipe consacre un impor- recherches s’appliquent également à la postproduction, aux installations tant volet d’études cognitives sur l’intégration multisensorielle pour un sonores interactives et à la danse à travers les enjeux de l’interaction développement raisonné de nouvelles médiations sonores basées sur son/espace/corps. l’interaction corps/audition/espace. Les activités de recherche scien- tifique décrites ci-dessous s’articulent avec une activité de développe- Thématiques et projets associés ment de bibliothèques logicielles. Ces développements consignent le — savoir-faire de l’équipe, soutiennent son activité de recherche théorique • Spatialisation sonore : Réverbération hybride et réponses impul- et expérimentale et sont le vecteur majeur de notre relation avec la créa- sionnelles spatialisées (SRIR), p. 26 ; Analyse-synthèse de SRIR, tion musicale et d’autres secteurs applicatifs. p. 27 ; Synthèse de champs sonores par réseaux à haute densité spa- Les travaux concernant les techniques de spatialisation se concentrent tiale, p. 28 ; Système WFS et HOA de l’Espace de Projection, p. 34 ; sur les modèles basés sur un formalisme physique du champ sonore. Écoute binaurale, p. 35 ; Spatialisation distribuée, p. 34, 35 ; Projet L’objectif principal est le développement d’un cadre formel d’analyse/ ORPHEUS, p. 35 ; Réalité augmentée et Projet HAIKUS, p. 37 synthèse du champ sonore exploitant des réponses impulsionnelles • Fondements cognitifs : Cognition spatiale auditive, p. 39 ; spatialisées (SRIR pour Spatial Room Impulse Response). Les SRIRs Intégration multisensorielle et émotion, p. 45 ; Projet Entrecorps ; sont généralement mesurées par des réseaux sphériques comportant Musique et plasticité cérébrale, p. 39 ; Perception de la distance en plusieurs dizaines de transducteurs (microphones et/ou haut-parleurs). Réalité Augmentée, p. 39 L’application principale concerne le développement de réverbérateurs • Création / Médiation : Auralisation de salle Projet RASPUTIN, à convolution exploitant ces SRIRs à haute résolution spatiale afin de p. 36 ; Composition Urbaine et Paysagère, p. 52 ; Étude acoustique reproduire fidèlement la complexité du champ sonore. du temple de Dendara, p. 27 La technique de spatialisation binaurale sur casque retient également • Logiciels : Spatialisateur, p. 75 ; OSCar, p. 73 ; Panoramix, p. 74 ; notre attention. L’évolution des pratiques d’écoute et la démocratisation ADMix Tools, p. 64 des applications interactives tendent à privilégier l’écoute sur casque à travers l’usage des smartphones. Grâce à sa capacité d’immersion Collaborations sonore, l’écoute binaurale devient le premier vecteur d’écoute tridimen- — sionnelle. Basée sur l’exploitation des fonctions de transfert d’oreille AALTO (FIN), ARI-ÖAW (Wien, AUT), HEGP (FR), HISOMA (FR), IFAO (FR), (HRTFs) elle reste à ce jour la seule approche assurant une reconstruc- IRBA (FR), LAM-IJLRA (FR), LORIA (FR), McGill (CAN), MPIA-IJLRA (FR), tion exacte et dynamique des indices responsables de la localisation Radio France (FR), RPI (Troy, US), RWTH Aachen (D), Univ. Lille (FR). auditive. Elle s’impose comme un outil de référence pour la recherche expérimentale liée à la cognition spatiale en contexte multisensoriel et Équipe pour les applications de réalité virtuelle. — Ces techniques de spatialisation audio 3D, associées aux dispositifs de Chercheurs : M. Noisternig, I. Viaud-Delmon (CNRS), O.Warusfel – captation des mouvements de l’interprète ou de l’auditeur dans l’espace, Ingénieur : T. Carpentier (CNRS) – Post-doctorants : David Poirier-Quinot constituent une base organologique essentielle pour aborder les ques- – Doctorants : V. Martin, P. Massé, F. Zagala – Résidences/invités/colla- tions « d’interaction musicale, sonore et multimédia ». Parallèlement, borations longues : L. Hobeika, N. Schütz, C. Suied, M. Taffou. elles invitent à une réflexion sur les « fondements cognitifs » liés à la sensation d’espace, notamment sur la nécessaire coordination entre les différentes modalités sensorielles pour la perception et la cognition de l’espace. Plus spécifiquement, nous désirons mettre en évidence l’impor- tance des processus d’intégration entre les indices idiothétiques (liés à nos actions motrices) et les indices acoustiques (localisation, distance, réverbération…) utilisés par le système nerveux central pour construire une représentation spatiale de l’environnement perçu. 19
UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020 Équipe Perception et design sonores (PDS) complète, en outre, par une prise en compte spécifique des modalités de Responsable : Nicolas Misdariis réception des ‘objets’ (artefacts) de design sonore qui induit notamment la problématique de l’évaluation perceptive. Activités — Thématiques et projets associés : Le projet scientifique de l’équipe Perception et design sonores combine — des recherches en perception et cognition sonores avec des recherches • Perception, représentation et description des sons et des applications en design sonore. Il met en œuvre des relations art/ • Sonie multi-sources science, d’une part, en alimentant la recherche musicale et sonore avec • Imitation vocale et identification des questionnements scientifiques d’ordre perceptif et cognitif (axe ‘du • Acoustique et sémantique du timbre : SpeaK, p. 57 son au sujet’), et d’autre part, en ancrant les problématiques de la créa- • Perception / cognition des sons complexes tion sonore appliquée dans le champ de la recherche en design (axe ‘du • Perception locale / globale sujet au son’). • Corrélation inverse et représentation mentale : CREAM, p. 43 La composante applicative permet, quant à elle, de développer des • Cognition et émotion vocales et musicales actions de type recherche-projet ou recherche-action, dans le cadre • Cognition sociale et identité vocale : CREAM, p. 43 ; ACTIVATE, de thèses ou de collaborations industrielles (Renault, Krug, SNCF…) p. 40 qui allient « savoir » scientifique et technologique des chercheur.e.s de • Rétroaction vocale émotionelle: Reflets, p. 41 l’équipe et « savoir-faire » artistique des compositeur.e.s systématique- • Corrélation inverse et prosodie : CREAM, p. 43 ; SEPIA, p. 40 ment associé.e.s (A. Cera, S. Gaxie, A. Sigman, R. Rivas…). • Rugosité sonore et émotion : CREAM, p. 43 Ce cadre de travail est enfin complété par une dimension pédagogique • Cognition et créativité musicale : GRIAMI, p. 55 essentielle qui, grâce à son implication dans le DNSEP Design Sonore de • Design et interaction sonores l’École supérieure d’art et design TALM-Le Mans, permet à l’équipe de • Analyse des pratiques du design sonore : APDS, p. 57 contribuer activement à la formation et la structuration de la discipline. • Signalétique sonore, interfaces homme-machine : Symbioz, p. 43 Cette implication passe notamment par l’encadrement d’un workshop • Design sonore multimodale, sonification applicatif annuel qui rassemble des étudiants en design sonore et en • Environnement sonore : KRUG, p. 44 design autour d’un cas concret apporté par un partenaire industriel ou • Design sonore et santé institutionnel (Ville du Mans, Région Ile-de-France, RATP, Maison de la • Outils d’aide à la conception sonore : SpeaK, p. 57 ; Skat-VG, p. 51 ; Radio, Hopital Sainte-Anne…). KRUG, p. 44 Les recherches menées sur l’axe ‘du son au sujet’ portent en premier lieu – et historiquement – sur les sons environnementaux, objet singulier Domaines de compétence qui permet d’accéder à plusieurs niveaux de représentation cognitive, en — lien avec des modes d’écoute distincts (écoute réduite, causale, séman- Psychologie expérimentale, analyse de données (numériques, verbales), tique). Elles sont mises en œuvre à différentes échelles temporelles (de acoustique, psychoacoustique, psychologie et neurosciences cognitives, l’événement à la scène sonore), à différents degrés de complexité (du design sonore, design. son pur au son complexe), et visent autant la caractérisation de méca- nismes perceptifs de bas-niveau (sonie, saillance auditive…), que la Collaborations compréhension de processus cognitifs de plus haut niveau impliquant — la reconnaissance, l’identification, la catégorisation, la mémorisation LMA (CNRS), Ec. Centrale Nantes (LS2N), Ec. Nat. Sup. d’Architec- ou le traitement émotionnel de l’information sonore. Sur les dimensions ture Lyon (LAURE), CNAM (Cedric), Univ. Toulouse (MSHS / PETRA), mémorielles et émotionnelles, les recherches de l’équipe se sont par Sorbonne Université (Inst. Jean le Rond d’Alembert), Université Paris 1 ailleurs (ré)ouvertes – notamment, à la faveur d’un projet ERC – à des Panthéon-Sorbonne (ACTE), Université de Strasbourg, EPFL (Lausanne), problématiques vocales et musicales, en combinant des technologies TU Delft (Fac. Industrial Design Engin.), ENS Ulm (LSP), CAP (Université d’analyse et de transformation du signal avec l’étude d’indices sonores Lyon 1), GHU Paris Psychiatrie & Neurosciences (Neuro Sainte-Anne et pouvant induire des émotions, de réactiver des représentations en Lab-ah), Hôpital Cochin (APHP), Hôpital Pitié-Salpétrière (APHP), CHU mémoire, voire de guider des comportements sociaux. Lille, Univ. de Tours (INSERM), ENAC, Centrale Supélec (FAST), INT Les recherches menées sur l’axe ‘du sujet au son’ étendent la catégorie La Timone, ICM, Université de Tokyo, McGill University (Canada), KTH de sons environnementaux à celle d’artefacts sonores – issus d’une (Suède), Lunds universitet (Suède), ZHdK (Suisse), ENS Paris Saclay transformation humaine, d’origine artificielle – et posent la question de (CRD), ENSCI Les Ateliers, Music Unit, Alta Voce, Groupe Renault, PSA leur conception (design) mais aussi de leur réception (perception). Elles Peugeot Citroën, Maison KRUG, Actronika, SNCF, LAPS-Design, Région s’intéressent donc globalement à la discipline du design sonore, consi- Île-de-France, RATP, Radio France (Maison de la Radio), Ville du Mans. dérée comme un objet d’étude et de recherche à part entière, en l’inté- grant dans le champ de la recherche en design, cadre conceptuel plus Équipe large et plus établi d’un point de vue historique et épistémologique. Cette — volonté de faire interagir le design sonore avec le design, et d’en acquérir Chercheurs : J.-J. Aucouturier (CNRS), M. Ayari (Université de des connaissances, méthodologies ou outils propres, prend le parti de Strasbourg), O. Houix (ESAD TALM Le Mans), M. Liuni, N. Misdariis, s’inspirer de l’approche des sciences du design formalisée notamment P. Susini – Post-doctorants : P. Arias – Doctorants : C. Richards, V. Rosi, par Nigel Cross (2006). Cette approche se déploie sur des dimensions T. Souaille (co-dir. LS2N), N. Guerouaou (co-dir. CHU Lille), E. Pruvost- relatives aux acteurs, procédures et produits de la discipline ; elle se Robieux (co-dir. GHU Neuro Ste-Anne) – Résidences/collaborations artistiques : A. Cera, R. Rivas, N. Schütz, A. Tocher, J. Acheson. 20
Vous pouvez aussi lire