Évaluation de la performance des avertissements de chaleur extrême émis par le système SUPREME au Québec de 2010 à 2016 - CHANGEMENTS CLIMATIQUES ...

Évaluation de la performance
des avertissements de chaleur extrême émis
par le système SUPREME au Québec
de 2010 à 2016

CHANGEMENTS CLIMATIQUES

AUTEURS
Ray Bustinza, M. Sc., conseiller scientifique
Germain Lebel, M. A., M. Sc., conseiller scientifique
Marjolaine Dubé, B. Sc., statisticienne
Direction de la santé environnementale et de la toxicologie

RÉVISEUR
Pierre Gosselin, M.D., MPH
Direction de la santé environnementale et de la toxicologie

RÉVISION ET MISE EN PAGE
Véronique Paquet, agente administrative
Direction de la santé environnementale et de la toxicologie

REMERCIEMENTS
Nous voudrions remercier Barbara Casati, du Service météorologique du Canada, et Fateh Chebana, de l’Institut national de la
recherche scientifique, pour leurs conseils d’experts au niveau statistique.
Cette étude a été réalisée grâce au soutien financier du Fonds vert, dans le cadre du Plan d'action 2013-2020 sur les changements
climatiques du gouvernement du Québec.

 Ce document est disponible intégralement en format électronique (PDF) sur le site Web de l’Institut national de santé
 publique du Québec au : http://www.inspq.qc.ca.

 Les reproductions à des fins d’étude privée ou de recherche sont autorisées en vertu de l’article 29 de la Loi sur le
 droit d’auteur. Toute autre utilisation doit faire l’objet d’une autorisation du gouvernement du Québec qui détient les
 droits exclusifs de propriété intellectuelle sur ce document. Cette autorisation peut être obtenue en formulant une
 demande au guichet central du Service de la gestion des droits d’auteur des Publications du Québec à l’aide d’un
 formulaire en ligne accessible à l’adresse suivante : http://www.droitauteur.gouv.qc.ca/autorisation.php, ou en
 écrivant un courriel à : droit.auteur@cspq.gouv.qc.ca.

 Les données contenues dans le document peuvent être citées, à condition d’en mentionner la source.

 Dépôt légal – 3e trimestre 2017
 Bibliothèque et Archives nationales du Québec
 ISBN : 978-2-550-79217-8 (PDF)
 © Gouvernement du Québec (2017)

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

Table des matières
Liste des tableaux ............................................................................................................................................................. II
Liste des sigles et acronymes ........................................................................................................................................ III
Faits saillants ..................................................................................................................................................................... 1
Sommaire ........................................................................................................................................................................... 1
1 Contexte ..................................................................................................................................................................... 3
2 Objectif ....................................................................................................................................................................... 3
3 Méthodologie ............................................................................................................................................................. 4
 3.1 Le territoire et la période étudiés ...................................................................................................................... 4
 3.2 Les paramètres des avertissements de chaleur extrême ................................................................................. 4
 3.3 L’émission des avertissements de chaleur extrême......................................................................................... 4
 3.4 Le repérage des vagues de chaleur ................................................................................................................. 5
 3.5 Les données utilisées........................................................................................................................................ 5
 3.6 Les analyses statistiques .................................................................................................................................. 5
4 Résultats .................................................................................................................................................................... 7
 4.1 Le nombre d’avertissements de chaleur extrême et de vagues de chaleur .................................................... 7
 4.2 La performance des avertissements de chaleur extrême ................................................................................ 8
 4.3 L’intensité des vagues de chaleur .................................................................................................................... 9
5 Discussion ................................................................................................................................................................ 10
 5.1 La pertinence de l’IDES et les limites des mesures d’évaluation traditionnelles ........................................... 10
 5.2 Nombre élevé de vagues de chaleur manquées ............................................................................................ 11
 5.3 Disparité des résultats selon les classes météorologiques ............................................................................ 12
 5.4 L’intensité des vagues de chaleur .................................................................................................................. 13
 5.5 Forces et limites de l’étude ............................................................................................................................. 14
6 Conclusion ............................................................................................................................................................... 14
Références ....................................................................................................................................................................... 15
Annexe 1 Régions de prévisions météorologiques couvertes par le système SUPREME et leur station
 météorologique de référence .................................................................................................................... 17
Annexe 2 Valeurs-seuils de chaleur extrême, nombre de jours à examiner et coefficients de
 pondération selon les régions sociosanitaires ....................................................................................... 19
Annexe 3 Nombre de vagues de chaleur et d’avertissements de chaleur extrême et leur performance,
 par classe météorologique et région sociosanitaire, Québec, 2010-2016 ........................................... 20
Annexe 4 Portrait des vagues de chaleur par classe météorologique et région de prévisions
 météorologiques, Québec, 2010-2016...................................................................................................... 21

Institut national de santé publique du Québec I

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

Liste des tableaux
Tableau 1 Valeurs-seuils et autres paramètres des ACE selon la classe météorologique ............................................. 4
Tableau 2 Tableau de contingence : association entre un ACE et une vague de chaleur ............................................. 5
Tableau 3 Nombre d’avertissements de chaleur extrême selon les classes météorologiques, Québec,
 2010-2016 ...................................................................................................................................................... 7
Tableau 4 Nombre de vagues de chaleur selon les classes météorologiques, Québec, 2010-2016 ............................ 8
Tableau 5 Tableaux de contingence des avertissements de chaleur extrême selon les classes
 météorologiques, Québec, 2010-2016 .......................................................................................................... 8
Tableau 6 Sensibilité et spécificité des avertissements de chaleur extrême selon les classes météorologiques,
 Québec, 2010-2016 ........................................................................................................................................ 8
Tableau 7 Indice de dépendance extrême symétrique et moyenne saisonnière du nombre de faux
 avertissements selon les classes météorologiques, Québec, 2010-2016 ..................................................... 9
Tableau 8 Intensité moyenne des vagues de chaleur, Québec, 2010-2016 .................................................................. 9

II Institut national de santé publique du Québec

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

Liste des sigles et acronymes
ACE Avertissements de chaleur extrême

ECCC Environnement et Changement climatique Canada

IDES Indice de dépendance extrême symétrique

INRS Institut national de la recherche scientifique

INSPQ Institut national de santé publique du Québec

NA Non applicable

RPM Région de prévisions météorologiques

RSS Région sociosanitaire

S Sensibilité

SIDES Erreur type de l’IDES

Sp Spécificité

SUPREME Surveillance et prévention des impacts sanitaires des évènements météorologiques extrêmes

Temp. max. Température maximale

Temp. min. Température minimale

Institut national de santé publique du Québec III

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

Faits saillants Sommaire
Cette étude a pour but d’évaluer la performance des Contexte
avertissements de chaleur extrême émis par le système
de Surveillance et de prévention des impacts sanitaires Au Québec, depuis 2010, le système de Surveillance et
des évènements météorologiques extrêmes de prévention des impacts sanitaires des évènements
(SUPREME) de l’Institut national de santé publique du météorologiques extrêmes (SUPREME) de l’Institut
Québec (INSPQ). Afin de déterminer si le système national de santé publique du Québec (INSPQ) émet
prédit les vagues de chaleur en temps opportun, des avertissements de chaleur extrême (ACE) à
l’indice de dépendance extrême symétrique, la l’intention des intervenants de santé publique. Ces ACE
sensibilité et la spécificité ont été calculés pendant les sont censés prédire des vagues de chaleur, cependant,
saisons estivales de 2010 à 2016. leur performance n’a pas encore été évaluée.

 Du point de vue météorologique, les vagues de Évaluer la performance d’un système de prévisions
 chaleur au Québec sont des évènements d’évènements météorologiques rares, comme les
 particulièrement rares. De 2010 à 2016, dans
 vagues de chaleur, pose toutefois des problèmes
 l’ensemble des 52 régions météorologiques
 méthodologiques importants. En effet, en raison de
 étudiées, seulement 98 vagues de chaleur ont été
 observées. Ainsi, il survient en moyenne une vague défauts méthodologiques propres aux mesures
 de chaleur par quatre ans, par région de prévisions d’évaluation, la majorité des mesures traditionnelles
 météorologiques. donnent des résultats qui tendent rapidement vers des
 valeurs dépourvues de signification lorsque la rareté de
 D’après l’indice de dépendance extrême l’évènement augmente. En revanche, l’indice de
 symétrique, la performance globale des
 dépendance extrême symétrique (IDES) est une mesure
 avertissements de chaleur extrême du système
 d’évaluation plus appropriée pour évaluer la
 SUPREME est bonne. Toutefois, le nombre de
 vagues de chaleur manquées (qui n’ont pas été performance des ACE dans la mesure où il est
 prévues par les avertissements de chaleur extrême) indépendant de la rareté de l’évènement (Ferro et
 est relativement élevé. Stephenson, 2011).

 L’évaluation de la performance des avertissements
 Objectifs de la recherche
 de chaleur extrême est fortement influencée par les
 incertitudes inhérentes aux prévisions
 météorologiques d’Environnement et Changement Cette recherche vise à analyser la performance des
 climatique Canada ce qui expliquerait un nombre ACE du système SUPREME en étudiant le lien entre les
 aussi important de vagues de chaleur manquées. dates d’émission des ACE et les dates de début des
 vagues de chaleur. Plus spécifiquement, l’étude vise à
 Il serait possible de réduire le nombre de vagues de
 estimer l’IDES ainsi que la sensibilité et la spécificité
 chaleur qui n’a pas été prévu en abaissant quelque
 peu les valeurs-seuils de température utilisées pour des ACE émis par le système SUPREME.
 l’émission des avertissements de chaleur extrême
 ou en arrondissant à l’unité, au lieu d’une décimale, L’hypothèse à vérifier stipule que les ACE du système
 les moyennes des températures prévues calculées SUPREME prédisent en temps opportun les vagues de
 pour émettre les avertissements de chaleur extrême. chaleur.
 Tel qu’attendu, les mesures d’évaluation
 traditionnelles, telles que la sensibilité et la Méthodologie
 spécificité, ne se sont pas révélées indiquées pour
 les avertissements de chaleur extrême. Le territoire à l’étude comprend les 52 régions de
 prévisions météorologiques couvertes par les ACE du
 système SUPREME. La période à l’étude couvre les
 saisons estivales des années 2010 à 2016.

Institut national de santé publique du Québec 1

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

Les dates d’émission des ACE pendant la période à semble pas attribuable à la qualité des prévisions,
l’étude ont été extraites des archives du système mais plutôt au nombre de jours de prévision utilisé.
SUPREME. L'émission des ACE est basée sur l’atteinte
  L’intensité moyenne des vagues de chaleur
de certaines valeurs-seuils des températures prévues
 observées, mesurée comme le cumul des écarts
par Environnement et Changement climatique Canada
 entre les températures observées (maximum et
(ECCC).
 minimum) et les valeurs-seuils de chaleur extrême
 est de 4,4 degrés-jours. Contrairement à ce qui était
Les températures observées utilisées pour repérer les
 attendu, l’intensité moyenne des vagues de chaleur
vagues de chaleur, leur date de début et leur durée
 manquées est plus élevée (4,8 degrés-jours) que
proviennent des archives d’ECCC. Le repérage des
 celle des vagues de chaleur prévues (4,0 degrés-
vagues de chaleur est basé sur l’atteinte des mêmes
 jours).
valeurs-seuils des ACE.

La sensibilité, la spécificité et l’IDES ont été calculés en Pistes pour l’action
comparant les dates d’émission des ACE aux dates de
début des vagues de chaleur et à l’aide d’un tableau de Réduire le nombre de vagues de chaleur manquées
contingence. Étant donné que les coûts des vagues de chaleur
 manquées sur le système de santé peuvent être très
L’intensité de chacune des vagues de chaleur a été élevés, les auteurs proposent d’en réduire le nombre en
estimée en utilisant le calcul des degrés-jours cumulés. abaissant les valeurs-seuils de température auxquelles
Les degrés-jours cumulés déterminent l’intensité d’une les avertissements sont émis ou en arrondissant à
vague de chaleur en tenant compte du cumul des l’unité, au lieu d’une décimale, les moyennes des
écarts entre les températures maximales et minimales températures prévues calculées pour émettre les ACE,
et les valeurs-seuils de chaleur extrême pendant la tout en s’assurant de ne pas trop augmenter le nombre
durée de la vague de chaleur. de faux ACE.

Principaux constats de la recherche Conclusions
 Des 98 vagues de chaleur observées pendant les La performance des ACE
 saisons estivales de 2010 à 2016, 47 ont été
 prévues par les ACE du système SUPREME, et 51  À la lumière des résultats obtenus, selon le calcul de
 ont été manquées. Dans la même période, des l’IDES (0,83), la performance globale des ACE est
 90 ACE émis par le système SUPREME, 43 ont été bonne.
 faux.  Les mesures traditionnelles, telles que la sensibilité
 La moyenne saisonnière globale du nombre de faux ou la spécificité, ne semblent pas adéquates pour
 ACE est de 0,12 par région de prévisions évaluer les prévisions des évènements rares comme
 météorologiques. les vagues de chaleur.

 L’IDES de l’ensemble des ACE est de 0,83, tandis Les vagues de chaleur manquées
 que la sensibilité est de 0,48 et la spécificité est de  Le nombre de vagues de chaleur manquées est
 1,00. relativement élevé. Des 98 vagues de chaleur
 L’IDES des ACE dont l’émission est basée sur la observées, 51 n’ont pas été prévues par les ACE.
 considération de « 2 jours » de prévisions est de  Des recommandations sont émises afin de diminuer
 0,88 tandis que celui des ACE dont l’émission est le nombre de vagues de chaleur manquées.
 basée sur la considération de « 3 jours » est de 0,67.
 Le système SUPREME comporte deux méthodes L’intensité des vagues de chaleur et la performance
 des ACE
 d’émission d’ACE qui diffèrent selon le nombre de
 jours de prévisions devant être considéré. Ainsi, la  L’évaluation du lien entre l’intensité des vagues de
 différence quant à l’IDES selon les classes ne chaleur et la performance des ACE ne mène pas à
 des résultats concluants.

2 Institut national de santé publique du Québec

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

1 Contexte 2 Objectif
Au Québec, depuis 2010, le volet « chaleur » du L’objectif de l’étude est d’analyser la performance des
système de Surveillance et de prévention des impacts ACE du système SUPREME en étudiant le lien
sanitaires des évènements météorologiques extrêmes chronologique entre les dates d’émission des ACE
(SUPREME) (Toutant et collab., 2011), développé par (basées sur les températures prévues) et les dates de
l’Institut national de santé publique du Québec (INSPQ), début des vagues de chaleur (basées sur les
émet des avertissements de chaleur extrême (ACE). températures observées). Plus spécifiquement, l’étude
Ces avertissements sont censés prédire les vagues de vise à estimer l’IDES des ACE émis par le système
chaleur, c’est-à-dire les périodes pendant lesquelles les
 SUPREME. Aux fins de comparaison avec l’IDES, la
températures atteignent les valeurs-seuils de chaleur
 sensibilité et la spécificité sont aussi estimées.
extrême (tableau 1).

Les ACE sont basés sur les températures prévues par L’hypothèse à vérifier stipule que les ACE du système
Environnement et Changement climatique Canada SUPREME prédisent en temps opportun les vagues de
(ECCC). Ils sont émis à l’intention des intervenants de chaleur.
santé publique et des équipes de coordination de la
sécurité civile des régions sociosanitaires (RSS) afin de
les aider à prendre la décision de déclencher la mise en
place, en temps opportun, des mesures de prévention
et de protection de la santé de la population. Ainsi, les
ACE du système SUPREME sont un outil d’aide à la
décision dont la performance n’a cependant pas encore
été évaluée.

L’évaluation de la performance des prévisions des
évènements météorologiques rares, comme les vagues
de chaleur, pose toutefois des problèmes
méthodologiques spécifiques. En effet, les mesures
d’évaluation traditionnelles, telles que la sensibilité ou la
spécificité, produisent des résultats qui tendent
rapidement vers des valeurs dépourvues de
signification (p. ex. : 0 pour la sensibilité, 1 pour la
spécificité) à mesure que la rareté de l’évènement
observé augmente (Stephenson et collab., 2008). Cette
situation procure une appréciation inadéquate des
performances des systèmes de prévision des
évènements météorologiques rares (Stephenson et
collab., 2008).

Depuis quelques années, il y a un intérêt scientifique
croissant pour les mesures de vérification des
prévisions des évènements rares (Doswell, Davies-
Jones et Keller, 1990; Stephenson et collab., 2008). En
2011, à cette fin, Ferro et Stephenson ont proposé
l’indice de dépendance extrême symétrique (IDES)
(Ferro et Stephenson, 2011). L’IDES est une mesure qui
évalue adéquatement la performance d’un système
émettant des prévisions d’évènements rares, du
moment où il ne conduit pas à des valeurs dépourvues
de signification, tout en corrigeant certaines faiblesses
des mesures proposées par d’autres auteurs (Ferro et
Stephenson, 2011).

Institut national de santé publique du Québec 3

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

 En se basant sur les résultats de cette étude, l’INSPQ a
3 Méthodologie établi les valeurs-seuils de chaleur extrême des
 températures maximales et minimales pour chacune
3.1 Le territoire et la période étudiés des classes météorologiques (tableau 1). Les valeurs-
 seuils ont ensuite été entérinées par l’ensemble des
Le territoire à l’étude comprend 52 des 68 régions de directions de santé publique (DSP) et par le ministère
prévisions météorologiques (RPM) de la province de de la Santé et des Services sociaux (MSSS). La
Québec (annexe 1) pour lesquelles des valeurs-seuils distribution des RSS par classe météorologique est
de chaleur extrême ont été établies et qui, en présentée à l’annexe 2.
conséquence, sont couvertes par les ACE du système
SUPREME. Les RPM correspondent aux plus petites Tableau 1 Valeurs-seuils et autres paramètres
unités géographiques, homogènes du point de vue des ACE selon la classe
météorologique, conçues et établies par ECCC, et pour météorologique
lesquelles le Service météorologique du Canada émet
 Valeurs-seuils
diverses prévisions météorologiques, dont les
 de chaleur Coefficients
températures. Les RPM non couvertes par le système Classe extrême Nombre de
SUPREME sont situées à l’extrême nord de la province, météo- de jours à pondération
 rologique Temp. Temp. considérer
dans les RSS du Nunavik et des Terres-Cries-de-la- max. min. J1-J2-J3
Baie-James. (°C) (°C)
 Classe 1 33 20 3 0,4-0,4-0,2
La période à l’étude couvre les saisons estivales (du
1er mai au 30 septembre) des années 2010 à 2016. En Classe 2 31 18 2 0,5-0,5
tenant compte des 153 jours de chaque saison estivale, Classe 3 31 16 3 0,4-0,4-0,2
des 52 RPM couvertes et des 7 saisons analysées, la
période totale à l’étude comprend 55 692 jours-régions. Le paramètre « coefficients de pondération » a été
 utilisé afin de considérer les incertitudes inhérentes aux
3.2 Les paramètres des avertissements prévisions météorologiques. Ainsi, la pondération des
 de chaleur extrême températures moyennes prévues permet de corriger
 partiellement cette incertitude, en attribuant moins
 d’importance aux prévisions qui présentent le plus
Afin de déterminer les valeurs-seuils de température
 d’incertitude, soit les plus éloignées de la date de
associées à des impacts significatifs sur la santé,
 prévision (le jour 3 [J3] des classes 1 et 3, tableau 1).
l’Institut national de la recherche scientifique (INRS), en
collaboration avec l’INSPQ, a analysé les données de
décès quotidiens de 1981 à 2005 et les données des 3.3 L’émission des avertissements de
températures maximales et minimales observées chaleur extrême
pendant la même période (Chebana et collab., 2013;
Martel et collab., 2010). Cette étude a permis Pour émettre des ACE, le système SUPREME utilise les
d’identifier par classe météorologique (regroupement températures quotidiennes prévues et les paramètres
de RSS semblables du point de vue météorologique) « valeurs-seuils de chaleur extrême », « nombre de
les valeurs-seuils de chaleur extrême, c’est-à-dire les jours considérés » et « coefficients de pondération »
températures associées à une surmortalité quotidienne présentés au tableau 1. Un ACE est généré lorsque les
de 60 % ou plus, ainsi que deux autres paramètres moyennes pondérées (arrondies à une décimale) des
nécessaires pour calculer les moyennes des températures maximales et minimales prévues (pendant
températures, soit le nombre de jours à être considérés les jours considérés) atteignent les valeurs-seuils de
et les coefficients de pondération à être appliqués. chaleur extrême. Le système SUPREME analyse
 plusieurs fois par jour les prévisions des températures
 du lendemain et des jours subséquents de façon à ce
 que les ACE puissent être émis la veille d’une
 éventuelle vague de chaleur.

4 Institut national de santé publique du Québec

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

Le système SUPREME émet les ACE à l’échelle des 3.6 Les analyses statistiques
RPM 1. Une fois qu’un ACE a été émis pour une RPM
donnée, l’émission éventuelle d’autres ACE pour la 3.6.1 L’ASSOCIATION ENTRE LES AVERTISSEMENTS ET LES
même RPM est automatiquement interrompue pendant VAGUES DE CHALEUR
au minimum 3 jours. L’émission ne reprendra qu’après
une journée pendant laquelle les températures prévues L’émission des ACE se fonde sur l’atteinte des valeurs-
n’atteignent pas les valeurs-seuils. Cette interruption a seuils des températures quotidiennes prévues par
été convenue avec les DSP afin d’éviter que l’émission ECCC. Ainsi, le système SUPREME, en appliquant des
d’avertissements se prolonge inutilement pendant toute valeurs-seuils, transforme ces prévisions numériques
la durée de la vague de chaleur. en prévisions dichotomiques, c’est-à-dire qu’elles ne
 comportent que deux valeurs possibles : « oui, une
3.4 Le repérage des vagues de chaleur vague de chaleur est prévue », ou « non, une vague de
 chaleur n’est pas prévue ».
Pour délimiter une vague de chaleur, il est nécessaire
de repérer sa date de début et de définir sa durée. D’un autre côté, l’identification des vagues de chaleur
Dans un premier temps, pour repérer la date de début, s’appuie sur l’application des mêmes valeurs-seuils aux
les températures quotidiennes observées aux stations températures quotidiennes observées dans les stations
météorologiques de référence des RPM (annexe 1), de météorologiques de référence. La présence de vagues
même que les paramètres « valeurs-seuils de chaleur de chaleur est alors aussi un évènement dichotomique
extrême » et « nombre de jours à considérer », définis dans la mesure où il y a seulement deux réponses
dans le tableau 1, ont été utilisés. Chaque station possibles : « oui, une vague de chaleur est observée »
météorologique de référence est considérée comme ou « non, une vague de chaleur n’est pas observée ».
représentative de la situation météorologique globale
de l’ensemble d’une RPM. Une vague de chaleur est Pour évaluer les prévisions dichotomiques des
repérée lorsque les moyennes des températures évènements tout aussi dichotomiques, l’utilisation d’un
maximales et minimales observées pendant le nombre tableau de contingence (tableau 2) est la façon la plus
de jours considérés atteignent les valeurs-seuils de appropriée (Wilson et Giles, 2013).
chaleur extrême. Comme l’identification des vagues de
chaleur est basée sur les températures observées, Tableau 2 Tableau de contingence : association
l’utilisation du paramètre « coefficients de pondération » entre un ACE et une vague de
n’est pas nécessaire. chaleur

Dans un deuxième temps, pour définir la durée des Pas de vague
 Vague de
vagues de chaleur, il faut estimer la date de fin en chaleur de chaleur
calculant les moyennes mobiles des températures observée observée
maximales et minimales observées. La date de fin
 ACE émis a b
d’une vague de chaleur correspond à la dernière
journée où les moyennes mobiles ont atteint les Pas d’ACE émis c d
valeurs-seuils de chaleur extrême. où :
 a = ACE correct (vrai positif)
3.5 Les données utilisées b = faux ACE (faux positif)
 c = vague de chaleur manquée (faux négatif)
 d = absence correcte d’ACE (vrai négatif)
Les dates d’émission des ACE pendant la période à
l’étude ont été extraites des archives du système
SUPREME. Les températures quotidiennes maximales
et minimales observées dans les stations
météorologiques de référence (annexe 1) proviennent
des archives d’ECCC.

1 Chaque RSS s’est vu attribuer au moins une RPM (annexe 1). Le système SUPREME couvre 16 des 18 RSS, ce qui représente une couverture
 de plus de 99 % de la population québécoise en 2014 (8 184 563/8 214 672).

Institut national de santé publique du Québec 5

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

Ce tableau de contingence résume, pour la période à 3.6.2 LES MESURES D’ÉVALUATION DE PERFORMANCE
l’étude, la fréquence des évènements décrivant
l’association entre l’émission des ACE et les vagues de La sensibilité
chaleur. Afin de comptabiliser les valeurs dans les La sensibilité estime la proportion d’évènements
cellules de ce tableau de contingence, il est nécessaire observés correctement prévus. En référence au tableau
de bien définir les différents évènements possibles : de contingence (tableau 2), la sensibilité des ACE est
a. Si, pour une journée donnée, une vague de chaleur estimée avec la formule suivante :
 observée a été prévue par un ACE, cet évènement
 est comptabilisé dans la cellule « a » (ACE correct). Équation 1 Sensibilité (S)
 L’ACE est « correct » lorsqu’il est émis l’avant- 
 veille, la veille ou le jour du début d’une vague de =
 + 
 chaleur. Même si le système SUPREME a été
 conçu pour émettre des ACE la veille du début des Les valeurs possibles de la sensibilité varient de 0 à 1,
 vagues de chaleur, dans la présente étude, les où 0 indique une sensibilité nulle (aucun évènement
 ACE émis le jour du début d’une vague de chaleur observé n’a été prévu), et 1 indique une sensibilité
 sont aussi considérés comme corrects, car ils ont parfaite (tous les évènements observés ont été prévus).
 été émis en temps opportun du point de vue de la
 santé publique. En effet, d’une part, les ACE sont La spécificité
 émis habituellement avant l’aube, ce qui laisse le
 La spécificité estime la proportion d’évènements non
 temps suffisant aux équipes d’intervention des
 observés (absence d’évènement) correctement prévue
 DSP de se préparer adéquatement. D’autre part,
 (absence d’avertissement). La spécificité est calculée
 les températures maximales de la journée ne sont
 avec la formule suivante :
 atteintes habituellement qu’entre 15 h et 17 h.
b. Si, pour une journée donnée, une vague de chaleur Équation 2 Spécificité (Sp)
 a été faussement prévue par un ACE, cet
 évènement est comptabilisé dans la cellule « b » 
 =
 (faux ACE). Un ACE est « faux » lorsqu’il est émis + 
 sans qu’une vague de chaleur n’ait débuté au
 cours de la même journée que l’émission de l’ACE, Les valeurs possibles de la spécificité varient de 0 à 1,
 ni pendant les deux jours subséquents. où 0 indique une spécificité nulle et 1 signifie une
 spécificité parfaite.
c. Si, pour une journée donnée, une vague de chaleur
 observée n’a pas été prévue par un ACE, cet L’indice de dépendance extrême symétrique (IDES)
 évènement est comptabilisé dans la cellule « c »
 L’IDES est une mesure qui décrit la validité d’une
 (vague de chaleur manquée). Une vague de
 prévision d’un évènement rare. L’IDES est calculé à
 chaleur observée est « manquée » si aucun ACE
 l’aide de la formule suivante :
 n’est émis le jour du début de la vague de chaleur,
 ni pendant les deux jours précédents.
 Équation 3 IDES
d. Finalement, si, pour une journée donnée, aucun
 ACE n’est émis et que le début d’une vague de log(1 − ) − log − log + log(1 − )
 =
 chaleur n’est pas observé, cet évènement est log(1 − ) + log + log + log(1 − S)
 comptabilisé dans la cellule « d » (absence
 correcte d’ACE). où : Sp (spécificité) = d / (b + d);
 S (sensibilité) = a / (a + c).

 Les valeurs possibles de l’IDES varient de -1 à 1, où 0
 ou moins indique une performance qui n’est pas
 supérieure à celle d’un système régi par le hasard, et 1
 signifie une performance parfaite.

6 Institut national de santé publique du Québec

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

L’erreur type de l’IDES est estimée par l’équation 4 :
 4 Résultats
Équation 4 Erreur type de l’IDES (SIDES)
 4.1 Le nombre d’avertissements de
SIDES = chaleur extrême et de vagues de
 (1− )(1− )+ 2 
 chaleur
2│ (1− )(1− ) log[ (1− )]+ log[ (1− )]│ (1− )
 1− 
 {log[ (1− )]+ log[ (1− )]}2
 � Au Québec, de 2010 à 2016, le système SUPREME a
 émis 90 ACE, ce qui correspond à une moyenne
où : S (sensibilité) = a / (a + c); saisonnière de 0,25 ACE par RPM (tableau 3). La vaste
 F = b / (b + d); majorité des ACE (76/90 ou 84 %) a été émise dans les
 p = (a + c) / (a + b + c + d); RPM de la classe 2.
 n = a + b + c + d.
 Tableau 3 Nombre d’avertissements de chaleur
3.6.3 L’INTENSITÉ DES VAGUES DE CHALEUR : DEGRÉS- extrême selon les classes
 JOURS CUMULÉS
 météorologiques, Québec, 2010-2016

Les degrés-jours cumulés estiment l’intensité d’une Classe Moyenne
 météorologique Nombre saisonnière du
vague de chaleur, en tenant compte de sa durée et des
 (nombre de d’ACE nombre d’ACE par
températures observées. Ils permettent de comparer RPM) RPM
les vagues de chaleur selon leur intensité et aussi
 Classe 1 (6) 7 0,18
d’examiner le lien entre l’intensité des vagues de
chaleur et leur prévision (Lebel, Bustinza et Dubé, Classe 2 (13) 76 0,80
2017). Les degrés-jours cumulés représentent le cumul, Classe 3 (33) 7 0,03
pendant la durée de la canicule, des écarts moyens Total (52) 90 0,25
entre les températures quotidiennes observées Note : avant 2012, deux régions de prévisions de la classe 1
(maximales et minimales) et les valeurs-seuils de étaient dans la classe 2. Les moyennes ont donc été calculées en
 considérant le nombre de régions météorologiques réel en
chaleur extrême (voir équation 5). fonction de la période.

Équation 5 Degrés-jours cumulés
 En ce qui concerne les vagues de chaleur observées,
 98 vagues de chaleur ont été repérées pendant la
 é − é =
 période à l’étude, ce qui correspond à une moyenne
 
 ( - ) + (Temp min - Seuil min ) saisonnière de 0,27 vague de chaleur par RPM
� (tableau 4). Comme dans le cas des ACE, la plupart des
 2
 =1
 vagues de chaleur (64/98 ou 65 %) se concentrent dans
 les RPM de la classe 2.
Ce concept des degrés-jours cumulés est inspiré et
utilisé par exemple en agriculture, pour déterminer les Le nombre d’ACE et de vagues de chaleur par RSS est
types de cultures par secteur (Centre de référence en
 présenté à l’annexe 3. Certaines caractéristiques de
agriculture et agroalimentaire du Québec, 2016), ainsi
 chacune des vagues de chaleur (comme la date du
qu’en économie, pour établir les dépenses en énergie début et la durée) apparaissent à l’annexe 4.
pour le chauffage et la climatisation (Météo France,
2016).

Institut national de santé publique du Québec 7

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

Tableau 4 Nombre de vagues de chaleur selon 4.2 La performance des avertissements
 les classes météorologiques, de chaleur extrême
 Québec, 2010-2016

 4.2.1 LA SENSIBILITÉ ET LA SPÉCIFICITÉ
 Moyenne
 Classe
 Nombre de saisonnière du
 météorologique La sensibilité des ACE pour l’ensemble des classes
 vagues de nombre de
 (nombre de
 chaleur vagues de météorologiques est de 0,48, c’est-à-dire que 48 %
 RPM)
 chaleur par RPM des vagues de chaleur ont été prévues (tableau 6). Les
 Classe 1 (6) 8 0,21 ACE de la classe 2 présentent la sensibilité la plus
 Classe 2 (13) 64 0,67 élevée (0,64), tandis que ceux de la classe 3 présentent
 la plus basse (0,15).
 Classe 3 (33) 26 0,11
 Total (52) 98 0,27 Quant à la spécificité des ACE, tant pour l’ensemble
 Note : avant 2012, deux régions de prévisions de la classe 1 des classes que pour chacune des classes, elle est
 étaient dans la classe 2. Les moyennes ont donc été calculées en
 considérant le nombre de régions météorologiques réel en proche de 1, c’est-à-dire quasi parfaite (tableau 6).
 fonction de la période. Autrement dit, presque tous les jours sans vague de
 chaleur ont été prévus (absence d’ACE).
Pour l’ensemble des classes, des 98 vagues de chaleur
repérées au Québec de 2010 à 2016, 47 ont été La sensibilité et la spécificité par RSS sont détaillées à
prévues par les ACE (« vague de chaleur observée » et l’annexe 3.
« ACE émis ») et 51 ont été manquées (« vague de
chaleur observée » et « pas d’ACE émis ») (tableau 5). Tableau 6 Sensibilité et spécificité des
De plus, des 90 ACE émis, 43 étaient faux (« pas de avertissements de chaleur extrême
vague de chaleur observée » et « ACE émis »). Les selon les classes météorologiques,
tableaux de contingence des ACE en fonction des Québec, 2010-2016
classes météorologiques sont présentés dans le
tableau 5. Avertissement de chaleur
 Classe météorologique extrême
 (nombre de RPM)
Tableau 5 Tableaux de contingence des Sensibilité Spécificité
 avertissements de chaleur extrême Classe 1 (6) 0,25 1,00
 selon les classes météorologiques, Classe 2 (13) 0,64 0,98
 Québec, 2010-2016 Classe 3 (33) 0,15 1,00
 Vague de Pas de vague Total (52) 0,48 1,00
 chaleur de chaleur Note : avant 2012, deux régions de prévisions de la classe 1
 observée observée étaient dans la classe 2.
 Classe 1
 4.2.2 L’INDICE DE DÉPENDANCE SYMÉTRIQUE
 ACE émis 2 5
 Pas d’ACE émis 6 5 801 L’IDES des ACE pour l’ensemble des classes
 Classe 2 météorologiques est de 0,83 (tableau 7). Les ACE de la
 ACE émis 41 35 classe 2 présentent la performance la plus élevée
 Pas d’ACE émis 23 14 436
 (0,88), alors que les ACE des classes 1 et 3 présentent
 des performances inférieures équivalentes (0,67).
 Classe 3
 ACE émis 4 3 D’un autre côté, la moyenne saisonnière du nombre de
 Pas d’ACE émis 22 35 314 faux ACE par RPM pour l’ensemble des classes est
 Total des classes de 0,12. La classe 3 est celle qui présente la moyenne
 ACE émis 47 43 la plus basse (0,01), alors que la classe 2 présente la
 plus élevée (0,37) (tableau 7).
 Pas d’ACE émis 51 55 551

8 Institut national de santé publique du Québec

Évaluation de la performance des avertissements de chaleur extrême
 émis par le système SUPREME au Québec de 2010 à 2016

L’IDES et la moyenne saisonnière de faux ACE par RSS Tableau 8 Intensité moyenne des vagues de
sont présentés à l’annexe 3. chaleur, Québec, 2010-2016

Tableau 7 Indice de dépendance extrême Degrés- Degrés-jours moyens
 symétrique et moyenne saisonnière jours selon la prévision des
 Classe
 du nombre de faux avertissements cumulés vagues de chaleur (n*)
 météorologique
 selon les classes météorologiques, moyens
 (n*) Prévues Manquées
 Québec, 2010-2016
 Classe 1 4,7 (8) 7,2 (2) 3,8 (6)
 Avertissements de chaleur extrême Classe 2 4,0 (64) 3,7 (41) 4,7 (23)
 Classe Moyenne Classe 3 5,2 (26) 4,9 (4) 5,2 (22)
 météorologique saisonnière du
 (nombre de Total 4,4 (98) 4,0 (47) 4,8 (51)
 IDES (SIDES) nombre de faux
 RPM) avertissements par * n = nombre de vagues de chaleur
 RPM
 Classe 1 (6) 0,67 (0,13) 0,13
 Classe 2 (13) 0,88 (0,03) 0,37
 Classe 3 (33) 0,67 (0,07) 0,01
 Total (52) 0,83 (0,03) 0,12
 Note : avant 2012, deux régions de prévisions de la classe 1
 étaient dans la classe 2. Les moyennes ont donc été calculées en
 considérant le nombre de régions météorologiques réel en
 fonction de la période.

4.3 L’intensité des vagues de chaleur

L’intensité des vagues de chaleur a été calculée à l’aide
des degrés-jours cumulés. L’intensité moyenne des
98 vagues de chaleur observées au Québec pendant
les saisons estivales de 2010 à 2016 est de 4,4 degrés-
jours (tableau 8). Les vagues de chaleur de la classe 3
sont celles qui révèlent l’intensité moyenne la plus
élevée (5,2 degrés-jours), alors que celle de la classe 2
est la plus basse (4,0 degrés-jours).

Le tableau 8 compare également l’intensité des vagues
de chaleur selon qu’elles aient été prévues ou
manquées par les ACE. Pour les classes 2 et 3,
l’intensité moyenne des vagues de chaleur manquées
est plus élevée (4,7 et 5,2 degrés-jours respectivement)
que celle des vagues de chaleur prévues (3,7 et
4,9 degrés-jours respectivement). Pour la classe 1, la
figure est inversée : l’intensité moyenne des 2 vagues
de chaleur prévues est plus élevée (7,2 degrés-jours)
que celle des 6 vagues de chaleur manquées
(3,8 degrés-jours).

L’intensité moyenne des vagues de chaleur par RSS est
présentée à l’annexe 3 et les intensités de chacune des
vagues de chaleur sont montrées à l’annexe 4.

Institut national de santé publique du Québec 9

Évaluation de la performance des avertissements de chaleur extrême
émis par le système SUPREME au Québec de 2010 à 2016

5 Discussion 5.1 La pertinence de l’IDES et les limites
 des mesures d’évaluation
Selon l’IDES, les ACE du système SUPREME sont traditionnelles
fiables. Un IDES assez élevé de 0,8 avec une erreur
type faible de 0,03 permet d’attribuer aux ACE du La sensibilité et la spécificité sont deux mesures faciles
système SUPREME une assez bonne performance pour à calculer et dont le sens est aisément saisissable. D’un
un système binaire. Comme indiqué auparavant, les côté, la sensibilité, dans le domaine de la météorologie,
valeurs possibles de l’IDES varient de -1 à 1, où 0 et mesure la proportion d’évènements observés qui ont
moins indique une performance qui n’est pas été prévus (émission d’un avertissement). Dans le
supérieure à celle d’un système régi par le hasard, et 1 domaine de la santé, la sensibilité estime, par exemple,
une performance parfaite. la proportion de personnes malades qui obtiennent un
 test de dépistage positif (vrai positif). D’un autre côté, la
Cette bonne fiabilité des ACE a été d’ailleurs attestée spécificité mesure, dans le domaine de la météorologie,
par les utilisateurs du système SUPREME lors des trois la proportion de jours sans évènement pour lesquels
évaluations (Bustinza, 2015; Bustinza, Toutant, des avertissements n’ont pas été émis. Dans le
Gosselin & Bélanger, 2011; Kishchuk, N, 2012). En domaine de la santé, la spécificité estime, par exemple,
effet, les utilisateurs apprécient l’accès en temps quasi la proportion de non-malades qui ont eu un test de
réel aux données météorologiques et sanitaires fourni dépistage négatif (vrai négatif). Ces deux mesures, la
par le système SUPREME. Les ACE, particulièrement, sensibilité et la spécificité, sont adéquates pour la
sont jugés « très utiles » ou « utiles » par 91 % des plupart des évènements météorologiques, toutefois,
répondants (Bustinza, 2015). lorsque l’évènement étudié devient rare, tant la
 sensibilité que la spécificité peuvent conduire à des
Les résultats confirment que, du point de vue résultats qui tendent rapidement vers des valeurs
météorologique, les vagues de chaleur au Québec sont dépourvues de signification (Stephenson et collab.,
des évènements rares. Dans la présente étude, 2008).
seulement 98 vagues de chaleur ont été observées
durant les 55 692 jours-régions à l’étude (7 saisons Pour illustrer ce phénomène, Ferro (2007) présente un
estivales dans 52 RPM). exemple des variations des sensibilités et des
 spécificités d’un système de prévisions de
La sensibilité indique que seulement 48 % des vagues précipitations pluviales pour différentes valeurs-seuils
de chaleur ont été correctement prévues par les ACE. (figure 1). Il est bien connu que la fréquence d’un
En revanche, la spécificité des ACE était presque certain évènement dépend de sa définition, c’est-à-dire
parfaite. Ainsi, pour presque 100 % des journées sans des valeurs-seuils choisies. Ainsi, plus les valeurs-seuils
vague de chaleur, le système SUPREME n’a pas émis seront élevées, plus la fréquence de l’évènement sera
des ACE. faible et plus l’évènement sera considéré comme rare.

En résumé, en ce qui concerne la performance des
ACE du système SUPREME, d’une part, la performance
est bonne selon l’IDES, et presque parfaite selon la
spécificité. D’autre part, la performance est piètre selon
la sensibilité. Ces résultats contradictoires étaient
attendus, comme expliqué dans la prochaine section.

10 Institut national de santé publique du Québec