Collège Internet 16 novembre 2018 - CESP

Collège Internet

 16 novembre 2018

 1

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 2

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 3

Rappel de la méthodologie de l’enquête
et modifications apportées en 2017

 Principes de Champ de
 Objectifs
 l’étude l’enquête

• Valeurs extrapolation et • Questionnaire téléphonique • Individus âgés de 11 ans ou
 structures et structures de réalisé exclusivement sur le plus appartenant à un ménage
 redressement des trois centre d’appels Intelcia et résidant en France
 panels Internet du nouveau
 dispositif Internet Global • 1 010 individus âgés de 11 → Population estimée par
 ans ou plus interrogés Médiamétrie : 55 654 477
 → Fin 2017 chaque mois personnes à partir des
 données INSEE
 • Vague mensuelle
 (interruption au mois d’août)

 4

Plan de sondage de l’enquête 2017

• Cinq sources différentes
 utilisées pour constituer la base
 de sondage de l’enquête

• Annuaire de numéros de
 téléphone fixe acheté auprès
 du prestataire FASTO

• Depuis mai 2017 : génération
 aléatoire des numéros « non
 géographiques »

 5

Recueil de l’information : un questionnaire organisé en
plusieurs modules

 Module
 « Equipement
 Module Module Module « Accès Module téléphonie »
« Équipement du « Equipement du internet au « Equipements du
 foyer – foyer – Tablette » domicile » foyer – TV » Nb de téléphones mobiles
 personnellement utilisés par
 Ordinateur » l’interviewé et dont
 l’interviewé est l’utilisateur
 principal

 Module « Usages Module User + Site
 téléphone mobile » (4 vagues posées aux
 internautes 30DJ)
 Module
 Usages en général de
 « Caractéristiques l’internet mobile : envoi d’e- Module « Usages Aucune modification :
 téléphone mobile mails, consultation d’e-mails, internet » même liste d’exemples
 etc…
 utilisé le plus » Moyen utilisé pour le
 de sites posées depuis
 téléchargement 2012
 Activités diverses
 (consultation d’un compte
 bancaire, annonces
 emploi…)

 6

Synthèse de l’Audit 2017 : points satisfaisants

 Le principe d’une étude dédiée pour la production des structures
 théoriques de redressement des panels Internet de Médiamétrie

 La qualité de la réalisation de l’étude (formation des enquêteurs,
 suivi du terrain, travail des enquêteurs)

 7

Contrôle de la réalisation de l’enquête 2017

• Une équipe de 22 enquêteurs

• 4 formations suivies par le CESP sur les 7 organisées

• 11 sessions d’écoutes :
 − 15 enquêteurs écoutes
 − 25 questionnaires contrôlés
 Nombre d'enquêteurs
 écoutés sur une
 passation complète
 Bon travail 8
 Travail correct 5
 A revoir 1
 Insuffisant 0

 TOTAL 14

 8

Contrôle de la réalisation de l’enquête 2017

Base : écoutes CESP

 Intelcia
 2013 2014 2015 2016 2017
 interviews totales 137 43% 98 41% 61 47% 52 44% 25 31%
 interruptions avec
 128 40% 119 50% 51 39% 54 46% 51 64%
 rappel
 abandons en cours
 53 17% 22 9% 19 15% 11 9% 4 5%
 d'interview
 Total 318 100% 239 100% 131 100% 117 100% 80 100%

Base : analyse du fichier des résultats par enquêteur

 2012 2013 2014 2015 2016 2017
 Nbre d'enquêteurs 120 32 21 37 26 22
 Durée moyenne des questionnaires
 25,8 23,5 20,2 20,7 22,9 20,7
 réalisés
 Taux d'abandon 20% 34% 23% 27% 22% 14%
 Taux de refus 15% 27% 28% 36% 16% 15%

 9

La répartition de l’échantillon selon l’âge satisfaisante, une
conséquence de la qualité du travail sur le terrain

 Répartition de l’échantillon 11+ de décembre 2017 (cumul des cinq mois précédents)
 selon l’âge et comparaison avec les données INSEE

 10

Synthèse de l’Audit 2017 : recommandations sur l’échantillon

 - Augmenter la taille de l’échantillon de chaque vague
 d’enquête, à ce jour trop faible pour produire des structures
 théoriques pour le redressement des panels Internet de
 Médiamétrie, ou privilégier une autre source plus robuste
 comme enquête de calage
 - Poursuivre l’amélioration de la qualité de l’échantillon afin de
 réduire les écarts avec les objectifs théoriques de
 redressement
 - Améliorer le taux de réponse (11%). Le Comité Scientifique
 rappelle l’importance d’un taux de réponse élevé pour
 l’obtention d’un échantillon de qualité.

 11

Les données théoriques utilisées pour le redressement du
dispositif Internet Global

 Point négatif :
 - L’utilisation de l’enquête Observatoire des
 Usages Internet - Téléphonie et Services
 Panélistes répondants
 Mobiles (OUI-TSM) pour le calcul des
 individus
 opérationnels Nov 2017 structures théoriques de l’univers mesuré
 14 328 6 430 compte tenu de la faiblesse des effectifs sur
 lesquels ces structures reposent (inférieurs à
 6 609 3 715
 ceux des panels Internet).

 Recommandations :
 4 908 4 211 - Augmenter la taille de l’échantillon de chaque
 vague d’enquête pour permettre une
 exploitation non cumulée des résultats.

 12

Comparaison du résultat obtenu après le dernier appel
entre 2016 et 2017

 Base : numéros utiles / Source : numéros de téléphone fixe « géographiques »

 Numéros "géographiques"
 Annuaire 01-05 Annuaire 01-05
 "tirage initial" "décliné"
 2016 2017 2016 2017
 Eff % Eff % Eff % Eff %
 Interview 2 470 13% 4 204 15% 3 393 11% 3 349 9%
 0% 0% 0% 0%
 Refus 4 944 26% 5 765 20% 7 564 25% 5 587 16%
 0% 0% 0% 0%
 Abandon 828 4% 562 2% 1 301 4% 617 2%
 0% 0% 0% 0%
 Sans réponse 10 518 56% 18 343 64% 17 865 59% 26 346 73%
Numéro occupé 406 2% 747 3% 668 2% 1 046 3%
Répondeur 9 410 50% 17 596 61% 16 121 54% 24 088 67%
Répondeur d'identification 702 4% 0 0% 1 076 4% 1 212 3%
 0% 0% 0% 0%
Nombre total de numéros appelés 18 760 100% 28 874 100% 30 123 100% 35 899 100%
 Nombre moyen de numéros
 7,6 6,9 8,9 10,7
 nécessaire pour réaliser une interview

 13

Comparaison du résultat obtenu après le dernier appel
entre 2016 et 2017

 Base : numéros utiles / Source : numéros de téléphone fixe « non
 géographiques »
 Numéros "non géographiques"

 Annuaire 09

 2016 2017
 Eff % Eff %
 Interview 964 18% 2 386 8%
 0% 0%
 Refus 1 641 31% 4 178 14%
 0% 0%
 Abandon 288 5% 446 2%
 0% 0%
 Sans réponse 2 412 45% 21 995 76%
 Numéro occupé 22 0% 412 1%
 Répondeur 2 329 44% 21 467 74%
 Répondeur d'identification 61 1% 116 0%
 0% 0%
 Nombre total de numéros appelés 5 305 100% 29 005 100%
 Nombre moyen de numéros nécessaire
 5,5 12,2
 pour réaliser une interview

 14

Comparaison du résultat obtenu après le dernier appel
entre 2016 et 2017

 Base : numéros de téléphone Mobile Aléatoires « non géographiques » utiles

 Numéros "mobiles"

 Mobiles aléatoires

 2016 2017
 Eff % Eff %
 Interview 2 010 7% 1 169 14%
 0% 0%
 Refus 4 535 17% 1 517 18%
 0% 0%
 Abandon 621 2% 186 2%
 0% 0%
 Sans réponse 19 986 74% 5 768 67%
 Numéro occupé 271 1% 0 0%
 Répondeur 19 542 72% 5 659 65%
 Répondeur d'identification 173 1% 109 1%
 0% 0%
 Nombre total de numéros appelés 27 152 100% 8 640 100%
 Nombre moyen de numéros nécessaire
 13,5 7,4
 pour réaliser une interview

 15

Comparaison du résultat obtenu après le dernier appel
entre 2016 et 2017

 Base : numéros utiles / Source : numéros de téléphone issus
 des viviers Médiamétrie
 Viviers
 BABU + Reliquat
 hors quotas vagues préc.
 2016 2017
 Eff % Eff %
 Interview 2 273 25% 1 704 37%
 0% 0%
 Refus 2 642 29% 1 283 28%

 Abandon 296 3% 102 2%

 Sans réponse 3 837 42% 1 565 34%
 Numéro occupé 34 0% 0 0%
 Répondeur 3 527 39% 1 430 31%
 Répondeur d'identification 276 3% 135 3%

 Nombre total de numéros appelés 9 048 100% 4 654 100%
 Nombre moyen de numéros nécessaire
 4,0 2,7
 pour réaliser une interview

 16

Synthèse de l’Audit 2017 : recommandations sur la base de
sondage

 ➔ Le Focus en cours du CESP sur la constitution des bases de sondage par
 Médiamétrie pour la réalisation de ses études devrait permettre d’apporter de
 la transparence sur l’utilisation des différentes sources de numéros de
 téléphone et leur exploitation par Médiamétrie

 17

Synthèse de l’Audit 2017 : réserve et recommandations sur le
recueil

 La structure et le contenu actuels du questionnaire dont le caractère
 figé ne permet pas de rendre compte de la rapidité de l’évolution des
 usages de l’internet.

 Revoir en profondeur le questionnaire pour mieux prendre en
 compte les usages et l’ensemble des modes d’accès à internet

 18

minutes

 0
 5
 15
 20
 25
 30
 35

 10
 janv-10
 avr-10
 juil-10
 oct-10
 janv-11
 Recueil de l’information

 avr-11
 juil-11
 oct-11
 janv-12
 avr-12
 juil-12
 oct-12
 janv-13
 avr-13
 juil-13
 oct-13
 janv-14
 avr-14
 juil-14
 oct-14
 janv-15
 avr-15
 juil-15
 oct-15
 janv-16
 avr-16
 juil-16
 oct-16
 janv-17
 avr-17
 juil-17
 oct-17
 Evolution de la durée moyenne du questionnaire par vague depuis 2010

19

Recueil de l’information

 Questions utilisées pour le redressement de chaque panel Internet

 Avez-vous, en ce moment, un accès à Internet à votre domicile…
 - sur un ordinateur appartenant à votre foyer ?
 - sur un ordinateur mis à disposition par l’employeur d’un des membres de votre foyer ?
 Vous personnellement, avez-vous accès à Internet via un ordinateur…
 Panel - Sur votre lieu de travail
 Ordinateur
 Au cours des 30 derniers jours, vous êtes-vous connecté à Internet…
 - depuis votre domicile
 - depuis votre lieu de travail
 - depuis un établissement scolaire
 - depuis un cybercafé ou un lieu public
 - depuis un autre lieu privé comme chez des amis ou parents
 - depuis un autre lieu que je n’aurais pas cité

 20

Recueil de l’information

 Questions utilisées pour le redressement de chaque panel Internet

 Avez-vous déjà consulté des sites Internet depuis ce téléphone mobile ?
 - Oui, il y a moins d’1 semaine
 - Oui, il y a entre 1 semaine et 1 mois

 Avez-vous déjà consulté des e-mails sur votre téléphone mobile…
 Panel Mobile
 - Oui, il y a moins d’1 semaine
 - Oui, il y a entre 1 semaine et 1 mois

 Avez-vous déjà envoyé des e-mails depuis votre téléphone mobile
 - Oui, il y a moins d’1 semaine
 - Oui, il y a entre 1 semaine et 1 mois

 Au cours des 30 derniers jours, quel moyen avez-vous utilisé pour télécharger…
 … des jeux
 … de la musique
 … de la vidéo
 Vous avez téléchargé depuis un site spécialisé.
 21

Recueil de l’information

 Questions utilisées pour le redressement de chaque panel Internet

 Avez-vous déjà consulté sur un téléphone mobile…
 - Votre compte en banque
 - Des annonces immobilières
 - Un annuaire (sans appeler les renseignements)
 - Un plan, recherché un itinéraire
 Panel Mobile - Les actualités
 - La météo
 - Des informations sportives
 - De l’information sur les transports en commun
 - Des informations en vue d’une sortie (séances de cinéma, réservation au restaurant,
 etc.)
 - Des réseaux sociaux/ sites communautaire du type Facebook, Twitter, Google+

 Sur un téléphone mobile, quand avez-vous…
 … Utilisé une messagerie instantanée
 … Regardé la télévision
 - Il y a moins d’1 semaine
 - Il y a entre 1 semaine et 1 mois
 22

Recueil de l’information

 Questions utilisées pour le redressement de chaque panel Internet

 Dans votre foyer, combien de tablettes tactiles possédez-vous ?
 - Une
 - Deux
 - Trois
 - Quatre
 Panel Tablette
 - Cinq ou plus

 23

Next steps

 ➔ Reprendre la réflexion sur l’utilisation de l’étude Home Devices comme étude de cadrage
 du dispositif Internet Global.

 ➔ Recommandation au marché : engager une réflexion sur la définition de l’internaute qui
 est encore fondée sur la connexion à internet au cours des 30 derniers jours alors que
 les usages sont majoritairement quotidiens

 ➔ www.cesp.org

 ➔ Le Prochain Audit portera sur 2018 – S1 2019 et sera publié en septembre 2019

 ➔ Nouveau responsable de l’Audit au CESP : Olivier Daufresne

 24

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 25

Label Digital Ad Trust
78 sites labellisés sur les 3 premières vagues

 26

Label Digital Ad Trust
78 sites labellisés sur les 3 premières vagues

 27

Enseignements des trois premières vagues de labellisation

 Coût important des Impact du choix d’un Difficulté à contrôler la Besoin de préciser ou
 audits pour les éditeurs audit mesureur continu représentativité des d’affiner certains
 et leurs régies ou ponctuel inventaires audités critères du référentiel

 28

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Revoir et préciser le déroulement des étapes du contrôle

 Suppression du contrôle 3 mois qui ne porte que sur la visibilité :
 1 année de labellisation = 2 contrôles par an

 Calendrier décalé en janvier 2019 pour la V1 2019

 Deux soumissions possibles au Tiers Labellisateur selon un
 calendrier fixé à l’avance

 29

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Le calendrier prévisionnel pour 2019
 Vague 5 Vague 6 Vague 7 Vague 8
Date limite de dépôt de
 vendredi 4 janvier vendredi 5 avril mercredi 3 juillet mercredi 2 octobre
candidature

Période valide pour les données
d'audit entre le 01/10/18 et le entre le 01/01/19 et le entre le 01/04/19 et le entre le 01/07/19 et le
prises en compte pour les 25/03/19 24/06/19 23/09/19 30/12/19
contrôles

Date du Comité d'Attribution lundi 1 avril lundi 1 juillet lundi 30 septembre lundi 6 janvier 2020

Date limite pour l'envoi des vendredi 6 décembre
 vendredi 1 mars 2019 samedi 1 juin 2019 samedi 31 août 2019
éléments au TL 1ère soumission 2019

Date limite pour l'envoi des
 lundi 25 mars 2019 lundi 24 juin 2019 lundi 23 septembre 2019 lundi 30 décembre 2019
éléments au TL 2ème soumission

 Contrôle aléatoire en continu sur les critères liés à l’expérience utilisateur 30

Calendrier des labellisés 2018
Confirmation de la labellisation en année 2

 Vague à l’issue de
 Vague de candidature
 laquelle le site a été
 pour l’année 2
 labellisé

 V1 2018 Janvier 2019

 V2 2018 Avril 2019

 V3 2018 Juillet 2019

 V4 2018 Octobre 2019

 31

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Ajouter un paragraphe sur le processus de suspension et de réattribution du label

 Clarification des suspensions et des réattributions :
 → Lors du constat d’un manquement, laisser 3 mois au site pour se
 mettre en conformité avec le label
 → Un site suspendu verra son nom retiré de la page des sites
 labellisés du site digitaladtrust.fr et ne pourra plus utiliser le logo
 Digital Ad Trust dans ses communications ni se prévaloir de la
 labellisation
 → La réattribution se fera, ou pas, à l’issue d’une vague, par la
 remise en ligne du nom du site sur digitaladtrust.fr

 32

Propositions d’évolutions à apporter dans le Référentiel

 ➔ S’assurer de la représentativité de l’inventaire audité

 Se donner les moyens de contrôler l’ensemble des modes de
 commercialisation :
 • Deux fichiers distincts à communiquer, d’une part l’exhaustivité des
 données ad-servées, d’autre part les données d’audit mesureur
 • Réunion de travail avec les éditeurs et leurs régies pour proposer
 de nouveaux templates

 Supprimer la limitation aux formats IAB dans les critères 1.2, 2.1,
 2.2 et 3.3. Prise en compte des formats :
 • Display : 1000x90, 1000x200, 1000x300
 • Vidéo : format in-read

 33

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Affiner ou faire évoluer certains critères

 Reformuler le critère 2.2 (optimisation de la visibilité)

 Référentiel 2018 Proposition Référentiel 2019
 Le site s’engage à réduire le nombre d’impressions Le site s’engage à réduire le nombre d’impressions
 non visibles, en mettant en œuvre l’ensemble des non visibles, en mettant en œuvre des moyens pour
 moyens qui permettront d’appeler uniquement les réduire les impressions non visibles sur le périmètre
 publicités qui arrivent à l’écran actif. du site soumis à la labellisation.

 34

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Affiner ou faire évoluer certains critères
 Référentiel 2018
 Critère 3.1 : Respect du filtrage du trafic invalide selon la liste IAB
 Le site co-contracte avec un ou des ad-serveur(s) respectant le filtrage du trafic invalide selon
 la liste d’exclusion de l’IAB.

 Critère 3.2 : Mise en place d’audits sur la mesure du trafic invalide général
 Le site s’engage à autoriser qu’un mesureur tiers certifié identifie et filtre de manière
 indépendante, via un tag, le trafic invalide général.

 Critères
 Critères3.3 3.3
 : Indice de fraude
 : Indice de fraude
 Le taux de trafic invalide général (GIVT) une fois passés les filtres de l’ad-serveur est inférieur
 àLe
 un taux
 plafonddedetrafic
 2% invalide général (GIVT) une fois passés les filtres de
 l’ad-serveur est inférieur à un plafond de 2%

 La définition de la fraude donnée lors du Summit IAS le 27 septembre 2018
 intègre les notions comme notions comme la diffusion de la pub à la bonne
 personne et au bon endroit
 ➔ S’assurer que la colonne « Fraud Impressions » correspond uniquement au
 GIVT
 35

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Affiner ou faire évoluer certains critères

 Reformuler de la dimension générale :
 Se doter des outils qui permettent d’assurer une communication
 digitale dans un contexte éditorial non dégradant pour l’annonceur

 Reformuler le critère 1.1 (mise en place d’audits sur la Brand Safety)

 Référentiel 2018 Proposition Référentiel 2019
 Le site s’engage à autoriser qu’un mesureur tiers L’éditeur assume la responsabilité de ses contenus.
 certifié vérifie de manière indépendante, via un tag, la Aussi, le site s’engage à autoriser qu’un mesureur
 Brand Safety de ses pages contenant de la publicité. tiers certifié vérifie de manière indépendante, via un
 tag, la Brand Safety de ses pages contenant de la
 publicité.

 36

Les nouveaux guidelines du MRC

 Aucun mesureur n’est pour le moment accrédité sur
 ces nouveaux standards compte tenu de leur récence

 ➔ Lever temporairement en 2019 la condition
 d’accréditation sur la Brand Safety pour l’éligibilité des
 audits

 38

Mise à jour de la liste des mesureurs tiers référencés*

 *Source : MRC (mise à jour au 1er octobre 2018)
 39

Propositions d’évolutions à apporter dans le Référentiel

 ➔ Affiner ou faire évoluer certains critères

 Modification du critère 5.1 (Information sur le traitement des
 données personnelles)

 Référentiel 2018 Proposition Référentiel 2019
 Le site respecte la loi en vigueur concernant le Engagement : L’éditeur du site s’engage à informer
 respect des données personnelles, et s’engage à les utilisateurs sur le traitement de leurs données
 informer les internautes de manière pédagogique sur personnelles et la finalité des cookies et autres
 la finalité des cookies et autres traceurs. traceurs.

 40

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 41

Le CESP contrôle en continu les différentes phases de
recrutement et gestion du dispositif WEBALL
 BILAN PRM Relances BILAN PRM Relances
 BILAN CATI 1 PIM inactifs / Pim dormants
 inactifs / Pim dormants
• Nombre de formations : 1 • Nombre de formations : 3 • Nombre de formations : 2
• Nombre de formations suivies par le • Nombre de formations suivies par le • Nombre de formations suivies par le
 CESP : 0 CESP : 1 CESP : 2
• Nombre sessions d’écoutes : 12 • Nombre sessions d’écoutes : 9 • Nombre sessions d’écoutes : 17
• Nombre d’enquêteurs écoutés : 19 • Nombre d’enquêteurs écoutés : 15 • Nombre d’enquêteurs écoutés : 23

• Répartition des 1282 contacts écoutés : • Répartition des 1564 contacts écoutés : • Répartition des 930 contacts écoutés :

• Sur les 45 interviews écoutées (4%) : • Sur les 34 interviews écoutées (2%) : • Sur les 145 interviews écoutées (16%) :
- 3 Acceptions de participer à l’étude - 2 Acceptations de participer à l’étude - 4 Refus de participer à l’étude
- 9 Refus de participer à l’étude - 12 Refus de participer à l’étude - 57 Interruptions avec rappel
- 12 Chute Aucune tablette - 9 Hors champs (aucun Smartphone - 0 interruption sans rappel
- 10 Pas internet Compatible - 84 panéliste acceptent de poursuivre la
- 1 hors champs profession - 8 Interruptions avec rappel participation au panel (68%)
- 7 Interruptions avec rappel - 3 Interruptions sans rappel
- 3 Interruptions sans rappel
 42

Les prochaines publications sur le dispositif Internet Global

 Audit sur l’année 2018 Mars 2019
 Deux Focus complémentaires
 pour compléter les analyses S1 2019
 • Système de mesure panel Tablette et panel Mobile
 • Tailles des strates et validations croisées

 43

Le feedback du Collège sur le dispositif Internet Global

 ➔ Vos remarques ?
 ➔ Vos attentes ?

 44

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 45

L’IAB Europe et l’EACA ont choisi 3 auditeurs européens dont le
CESP pour auditer les mesureurs de visibilité (septembre 2018)

 • Fin décembre 2017, l’ European Authority composée de l’IAB Europe et
 l’EACA ont lancé un appel d’offres pour sélectionner des auditeurs
 capables de contrôler des outils de mesure de la visibilité

 • Le CESP qui avait contribué à la rédaction des « Principles » a répondu
 à cet appel d’offres

 6 modules in the Principles:
 • Périmètre des audits :
 1. Environments
 - Environnement desktop et mobile web* 2. Measured Items
 - Format display et video 3. Measurement
 4. Transparency & Reporting
 - Identification du trafic invalide général 5. User Experience
 6. Non-Human Traffic
 • La démarche du CESP :
 - Analyse de la description méthodologique transmise par le
 mesureur selon une grille thématique définie par le CESP
 - Conduite de deux types de tests : scénario / sur la base d’une
 sélection aléatoire de campagnes réelles

 • 19 novembre 2018 : présentation du protocole d’audit du CESP devant
 l’EA et les principaux mesureurs
* En cours de discussion 46

Description du protocole de tests de scénario

• Protocole défini par Emmanuel Viennet, membre du Comité Scientifique du CESP

• Conduite des tests Display dans un environnement contrôlé :
 - Environnement Display : tests navigateurs Web fixes et mobiles
 - Mise en place d’un site avec des emplacements publicitaires et d’un ad-server
 - Implémentation du tag du mesureur à auditer dans de fausses créations publicitaires servies par un faux
 ad-serveur
 - Visites réelles et générées par des robots
• Analyse des fichiers logs CESP vs. mesureur

➔ Couvrir la variété des créations publicitaires et des configurations, en prenant en compte
 le surf de l’internaute (scroll, perte du focus de la page…) et l’implémentation de la mesure

➔ Contrôler l’implémentation des tags de mesure (QA, support…)

➔ Contrôler l’identification du GIVT si le mesureur n’est pas accrédité par le MRC

➔ Valider la conformité aux principes de l'EVSG
 47

Formats pris en compte dans les tests de scénario sur Display

 Desktop Mobile Phone

 – Banner (468x60px)
 – Top banner (320x50px image)
 – Leaderboard (728x90px)
 – Bottom banner (non-sticky, 320x50px)
 – Skyscraper (120x600px)
 – Inline ad (320x250px)
 – Wide Skyscraper (160x600px)
 – Interstitial banner (320x480px)
 – Inline rectangle (300x250px)
 – Vertical rectangle (240x400px)

 48

Description du protocole des tests réalisés sur la base d’une
sélection aléatoire de campagnes réelles

• Protocole défini par Emmanuel Viennet, membre du Comité Scientifique du CESP
 - Dernière phase de l’audit CESP
 - In situ chez le mesureur à auditer
 - Tests conduits sur les formats Display et les formats Video
 - Cas particulier des tests conduits sur l’environnement Video : le CESP se basera sur les pages tests du
 mesureur (prise en compte des différentes implémentations : VAST, VPAID, custom wrapper)

➔ Contrôle de la chaîne de traitement des données pour valider la conformité des étapes de
 calcul

 49

Agenda

 1 Audit OUI-TSM – principales conclusions du dernier rapport

 2 Label Digital Ad Trust – premiers enseignements

 3 Audit Internet Global

 4 Information sur le projet EVSG

 Note du CESP sur la taille des cibles
 5

 50

Les résultats d’audience : des estimations issues de calculs
statistiques

 Les résultats des études d’audience sont utilisés par les médias et leurs régies pour analyser les audiences sur
 cibles, les parts de marché, le profil des auditeurs / téléspectateurs / lecteurs / internautes, en comparaison avec
 les supports concurrents et/ou en évolution temporelle.

 Ces résultats sont issus de calculs statistiques, ce qui induit la présence des notions de probabilité et d'incertitude
 quant à leur lecture.

 51

Pourquoi introduire le sujet de la taille des cibles par l'intervalle
de confiance ?

 La taille d'un échantillon (notée N) est un élément impactant la largeur de l'intervalle de confiance. En clair : plus
 nous disposons d'observations, plus la zone d'incertitude autour de valeur mesurée se rétrécit, et donc mieux
 c'est.

 Le choix de la taille minimale des cibles est donc lié à la notion de confiance que nous accordons aux résultats.
 Souhaitons-nous quelque chose de très précis ?
 Pouvons-nous nous contenter d'un ordre de grandeur ?
 Quelle somme sommes-nous prêts à investir pour une meilleure précision ?

 Augmenter la taille des échantillons peut s'avérer très onéreux !

 52

Méthode de mesure de l’intervalle de confiance et seuil

Dans certains cas nous pourrions obtenir un résultat de 13% avec +/- 0.1% de marge d'erreur, ou bien dans un
cas plus défavorable 13% avec +/- 9% d'incertitude ! Notons que le 2ème cas est inutilisable tellement la marge
d'erreur est importante (nous pourrions nous retrouver avec la vraie valeur de pénétration comprise entre 4% et
22%).

 Méthode de
 mesure de Seuil de
 l’intervalle de confiance
 confiance

En complément, à cet intervalle de confiance nous associons toujours un indicateur de seuil : lorsque nous
affirmons 13% avec +/- 0,1%, en réalité l'affirmation est incomplète : il serait plus juste de dire 13% avec +/- 0,1%
à 95%. Cela veut dire que si nous réitérons l'échantillonnage de nombreuses fois et que nous en mesurons les
résultats, il y a 95% de chances que ces derniers se trouvent dans l'intervalle de confiance (et donc 5% en
dehors).

En général, le seuil retenu pour la mesure de l’intervalle de confiance est fixé à 95%.

 53

Exemple de calcul d’intervalle de confiance :
 Application d’une formule sur les proportions

 L'exemple proposé par le Comité Scientifique du CESP est celui de la mesure d'un intervalle de confiance d'une
 proportion (exemple : une pénétration), en utilisant la formule suivante :

 [ − . √( ( − )/ ) ; + . √( ( − )/ ) ]

P : proportion observée (ex: 13%)

 N : taille de l'échantillon
 1.96 : valeur issue d'une hypothèse statistique (loi Normale)

 Là encore, nous observons l'impact de la taille de l'échantillon sur les bornes de l'intervalle. Il est au dénominateur
 : plus la taille augmente, plus les bornes de l'intervalle sont resserrées et donc plus la précision est bonne.

 54

L’intervalle de confiance : un outil pour mettre en perspective les
résultats

Exemple : pour une audience nous obtenons une pénétration de 13% chez les jeunes de 15-24 ans.

Ce résultat n'est en réalité jamais exactement égal à 13% mais contient une zone d'incertitude autour de ce
dernier : l'intervalle de confiance. Selon les propriétés de l'échantillon étudié et selon la méthode de mesure de
cet intervalle, la taille de cette zone d'incertitude peut varier de manière significative.

 Taille de l’intervalle de confiance en fonction de la taille d’échantillon (loi
 normale, intervalle à 95%)
 25%
 19,6%
 Proportion observée

 20% 17,7%
 15,9% 15,1% 14,5% 13,9%
 15% 13,7%
 13%
 10% 12,1%
 10,9% 11,5% 12,3%
 10,1%
 8,3%
 5% 6,4%

 0%
 100 200 500 1000 2000 5000 10000
 Taille d’échantillon

 55

Peut-on avoir une règle universelle sur la taille des échantillons ?

 En réalité, il n'existe pas de seuil universel de taille de cible car plusieurs paramètres entrent en jeu.

 Ce qui est mesuré : Le niveau de confiance
 La taille de l'intervalle de
 souhaité (95% par exemple)
 une proportion, une grandeur… confiance tolérable
 pour cet intervalle

 La méthode de mesure de
 l'intervalle : Les caractéristiques de
 certaines méthodes donnent l'échantillon, notamment
 des intervalles plus petits que l'indépendance des
 d'autres mais ne s'appliquent observations
 que dans des cas précis

 56

L’indépendance (1/2)

 Le dernier point de cette liste (l'indépendance) impacte de manière significative la précision des résultats
 d'audience. Mais que signifie-t-il ?

 L'indépendance est le fait que chaque observation unitaire est indépendante des autres. Par exemple, si nous
 interrogeons deux individus sans aucun lien entre eux, nous pouvons supposer qu'ils sont indépendants.

 A l'opposé, la dépendance indique que les observations dépendent les unes des autres. Il y a dépendance
 temporelle par exemple lorsque nous interrogeons le même individu plusieurs jours de la semaine sur un même
 programme.

 57

L’indépendance (2/2)

 Concernant les mesures d'audience, voici quelques cas rencontrés :

 Dépendance par grappes : on
 interroge un foyer et on restitue
 les résultats par individu : les
Indépendance des observations Dépendance temporelle individus d'un même foyer ont
 une plus forte dépendance que
 des individus qui ne se
 connaissent pas entre eux.

 Ex: Enquête 126000 Radio Ex: Panel Radio Ex: Panel Médiamat

 Les évolutions des méthodes de mesure d'audience peuvent engendrer des transitions entre ces trois cas, il est
 donc important de le souligner car la taille des cibles ne sera pas la même pour une précision donnée : une étude
 devra être produite au cas par cas.

 58

Conclusion

 Le sujet de la taille des cibles est vaste car il dépend de nombreuses hypothèses statistiques susceptibles de
 varier selon les études. Plus généralement la question de la taille des échantillons se ramène à celle de la
 précision que nous souhaitons obtenir, avec un budget donné. Lorsque les enjeux sont importants, une étude sur
 mesure est donc nécessaire.

 En conclusion, pour sensibiliser les utilisateurs à la précision des résultats, le CESP recommande de toujours
 faire apparaître la taille de l’effectif brut, la largeur de l’intervalle de confiance et son mode de calcul lors de la
 communication de résultats.

 59

Merci pour votre attention

 60