MÉTHODE EXPERIMENTALE POUR LA RECHERCHE EN INFORMATIQUE - Nadine Mandran CNRS/LIG HAITI SITERE 2016
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
MÉTHODE EXPERIMENTALE POUR
LA RECHERCHE EN INFORMATIQUE
Nadine Mandran CNRS/LIG
HAITI SITERE 2016
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Environnement et contexte
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Environnement et contexte
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Système d’information et Utilisateurs
Marco Santorum, 2014, LIG/SIGMA
Objectif : Développer une application pour construire de manière
collaborative des procédures
Cas d’étude : un procédure administrative de départ en mission
Acteurs : Assistante, responsable, employé, agence de voyage, agent
comptable …
Actions : commander, téléphoner, remplir un formulaire, …
Document := devis, demande d’ordre de mission, billets , …..
Etat des documents : OM Validé, signé, ….
Action externe
Utilisateurs Action interne
Document et état
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
PLAN
Connaissance scientifique ?
Méthode de conduite de la
recherche
Méthode de développement User Centered Design
Méthode de production et d’analyse Qualitatif / Quantitatif
Méthode de conduite des études Protocole / Outils/ Passation /
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONNAISSANCE SCIENTIFIQUE ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiEPISTEMOLOGIE
S’intéresser à la méthodologie de la recherche interroge la manière d’élaborer la
connaissance scientifique, autrement dit la question de la posture épistémologique.
L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la constitution
des connaissances valables ». Pour [Le Moigne 1995], cette définition pose trois
questions :
1. Qu’est ce que la connaissance et quel est son mode d'investigation ?
2. Comment la connaissance est-elle constituée ou engendrée ?
3. Comment apprécier sa valeur ou sa validité ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONNAISSANCE DANS CES
SCIENCES ?
Sociologie expérimentale
Informatique « performance des algorithmes »
Informatique centrée humain
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONNAISSANCE
BIOLOGIE
SOCIO. EXPERIMENTA I. « ALGO » I.CENTREE HUMAIN
LE
NATURE réel réel « artificiel » « artificiel » et réel
Technique et
OBJET Humain Vivant Technique
humain
PRISE EN
COMPTE Holistique Réductionniste x Holistique
STATUT Evoluée « immuable » « immuable » Evoluée
Comprendre et
MESURES Comprendre Valider Valider
Valider
A chaque domaine, une posture pour créer et valider de la connaissance =>
Posture épistémologique
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONSTRUCTIVISME
PRAGMATIQUE
En RICH => positionnement
- observer l’humain dans son contexte pour connaitre ses pratiques,
ses comportements, ses attentes
- observer le réel : coté technique du domaine, le réel de l’humain, la
perception du réel et des observables par l’humain
En RICH => la connaissance prend la forme de modèle intelligible qui
sont instanciée sous forme d’applications utilisables
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONSTRUCTIVISME
PRAGMATIQUE
But de la connaissance : Construire des modèles
intelligibles de l’expérience humaine, offrant des repères
adaptés et viables pour organiser le monde de l’expérience
humaine.
Statut de la connaissance : Interprétations plausibles
adaptées à l’expérience et viables pour agir intentionnellement.
Forme de la connaissance : Modèles génériques et
propositions activables
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiLES 3 QUESTIONS
L‘épistémologie est définie par [Piaget 1967] comme « l’étude de la
constitution des connaissances valables ». Pour [Le Moigne 1995], cette
définition pose trois questions :
1. Qu’est ce que la connaissance et quel est son mode d'investigation ?
2. Comment la connaissance est-elle constituée ou engendrée ? =>
Méthodes pour construire la connaissance
3. Comment apprécier sa valeur ou sa validité ? = > Méthodes pour
évaluer la connaissance
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Connaissance scientifique ?
Méthode de conduite de la
recherche
Méthode de développement User Centered Design
Méthode de production et d’analyse Qualitatif / Quantitatif
Méthode de conduite des études Protocole / Outils/ Passation /
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiMÉTHODE DE RECHERCHE
=> MÉTHODE DE CONDUITE DE LA RECHERCHE
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDEFINITION
La méthode de recherche :
- processus, propriété du processus pour conduire la
recherche
- Méthodes :
- Design Based Research (Wang et Hannafin),
- Dialogical Model (Avenier),
- Design science (Hevner),
- THEDRE (Mandran)
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiMODELE : THEDRE
N.Mandran 2016 à publier
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Connaissance scientifique ?
Méthode de conduite de la
recherche
Méthode de développement User Centered Design
Méthode de production et d’analyse Qualitatif / Quantitatif
Méthode de conduite des études Protocole / Outils/ Passation /
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiUSER CENTERED DESIGN
ISO 9241-210:2010,
3 phases : Analyse, Conception, Evaluation
Elle concerne la méthodologie de conception et l'intégration de l’humain dans la conception et le développement.
Recommandations
• Une préoccupation amont des utilisateurs, de leurs tâches et de leur environnement,
• La participation active de ces utilisateurs, ainsi que la compréhension claire de leurs besoins et des exigences liées à leurs
tâches,
• Une répartition appropriée des fonctions entre les utilisateurs et la technologie,
• L'itération des solutions de conception : on peut s'imaginer le cycle comme une spirale, une démarche qui boucle et
reboucle jusqu'à ce que le système satisfasse aux exigences définies au départ,
• L'intervention d'une équipe de conception multi-disciplinaire.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiUSER CENTERED DESIGN
Avantages :
- Intégration de l’utilisateur et du contexte dans la conception d’un outil
- De procéder par phases successives
- Pas de contraintes sur les méthodes à employer
Proposition Mandran et al 2013
Analyser ou explorer ? :
• TLFI : « explorer » : parcourir et/ou examiner de fond en comble pour découvrir quelque chose,
« analyser » : décomposer un tout en ses éléments de manière à le définir, le classer, le comprendre
Conception ou co-construction ?
• Conception, un terme utilisé dans de nombreux cycles d’ingéniérie, le coté collaboratif absent du terme
conception .
• La co-construction introduit la collaboration et le pluridisciplinaire.
Evaluation ?
• Evaluer l’artefact et non pas valider
• Valider => finalité
• Evaluer un continum
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDCU : LES 3 PHASES
EXPLORER, CO-CONSTRUIRE, EVALUER
Pourquoi faire ?
A quel moment du développement de l’application ? `
Avec qui ?
Comment faire ?
Avec quoi ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDCU : LES 3 PHASES
DÉVELOPPEME
POURQUOI
ETAPES UCD NT DE AVEC QUI ? COMMENT ?
FAIRE ?
L’APPLICATION
Comprendre et
faire l’analyse des observer sur le
EXPLORER Utilisateurs finaux
besoins, des terrain, discuter
attentes
Maquette ou
CO- Faire un travail de Utilisateurs et faire des réunions
prototype
CONSTRUIRE co-conception concepteursss de groupes
interactif
Prototype
faire des tests
EVALUER Tester l’application interactif ou une Utilisateurs
utilisateurs
application
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Connaissance scientifique ?
Méthode de conduite de la
recherche
Méthode de développement
User Centered Design
Méthode de production et Qualitatif / Quantitatif
d’analyse
Protocole / Outils/ Passation /
Méthode de conduite des études Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiMETHODE DE PRODUCTION
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiQUALI / QUANTI / MIXED
Le Design based Reseaech et le User Centred Design ne focalisent
pas sur une seule méthode de production des données.
Il faut saisir et comprendre un maximum d’éléments provenant de
l’utilisateurs et de son contexte d’évolution.
Nécessaire de mixer les méthodes qualitatives et quantitatives.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUALITATIVES
Portrait chinois
Si les vacances étaient un animal ?
Si les vacances étaient une couleur ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUALITATIVES
Quand ?
Peu de notions sur ce qui se passe , sur ce que l’on veut observer
Pose une question
Pourquoi ?
Attester de l’existence d’un phénomène
Laisser libre cours au discours, au vécu, aux habitudes
Recenser un maximum d’usages, de comportements, d’opinions
Recueillir une diversité de situations
Avoir différents points de vue …
Faire échanger des utilisateurs lors de travaux de groupe
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUALITATIVES
Comment ?
Mode de recueil ouvert, qui privilégie le spontané
Outils ?
Entretiens individuels , de groupes,
Des tests de maquettes, des portraits chinois,
De l’observation, de l’analyse de tâches, …
Quoi ?
Audio,Vidéo
Des dessins,
Des photos,
Des carnets de bords
Post-it
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUALITATIVES
Les critiques
• Le nombre de sujets restreint
• Un matériel lourd à exploiter
• Des critères d’analyses « subjectifs »
• Pas de données quantitatives ca ne prouve rien
Les réponses
• Le qualitatif permet d’accéder au sens (Duyck, 2003) et/ou aux représentations.
• Permet de comprendre
• La manière d’appréhender des notions inconnues
• La durée des entretiens permet de connaître en profondeur et avec précision un
phénomène
• Effectif restreint mais des sujets connus : préconisation de 20 individus
• Des outils d’analyses systématiques (caqdas et analyse de discours, de contenu)
• Pour les étapes d ’évaluation, permet de comprendre les résultats du quantitatif
P.Paille et A.Muchielli, L'analyse qualitative en sciences humaines et sociales, 2012.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUALITATIVES
Les outils de production de données
Entretien semi- directif
Entretien en face à face
Guidé par une grille d’entretien élaborée au préalable
Environ 1h à 1h30
Enregistrement audio
20 sujets
Focus-group ou réunion d’utilisateurs
Séances de travail en groupes
Guidé par une grille d’animation
Organisation d’activités
Environ 2h à 2h30
3 focus de 8 personnes
Autoconfontation
Filmer le sujet pendant une tâche
Après la réalisation de la tâche, faire visionner le film au sujet et le faire verbaliser
sur ce qu’il a fait
Annotations des vidéos
Journal de bord et « Social probes »
Cerner les habitudes par le quotidien
Capturer ce qui forme le quotidien (maison, entreprise,…. )
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUANTITATIVES
Sondage d’opinion sur les vacances
N.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
Source : TNS Sofres, EPIQ 2009.DONNEES QUANTITATIVES
Quand ?
Poser une hypothèse
Une information à contrôler
Pourquoi ?
Quantifier
Evaluer, valider de manière statistique
Comment ?
Prise de Mesures
Capture des traces lors de l’utilisation d’un logiciel
Capture de mouvements (gestuels, visuels, émotionnels, physiologique…. )
Une enquête par sondage
Un questionnaire fermé lors d’un test
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUANTITATIVES
Critiques
Ne permet pas de comprendre
Le plus souvent pas de méthode d’échantillonnage décrite
Des plans d’expérience
Le choix des sujets expérience
Réponse
La seule manière de quantifier
La manière d’évaluer, quand on se place dans une posture hypothético-déductive
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiDONNEES QUANTITATIVES
Les outils de production de données
Questionnaire
Auprès d’un échantillon correctement échantillonné (en socio minimum 500 personnes)
Peut-être administré en face-à-face ou en ligne
Capture de traces d’activités
Avoir une application qui permet de tracer les interactions des utilisateurs
Tests utilisateurs
Avoir une application sur laquelle on va faire des tests précis
Souvent utilisés en IHM, mesure de performance, de précision, erreurs, …
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiN.Mandran , LIG/PIMLIG, Novembre 2016- Haiti
MIXER LES METHODES DE
PRODUCTION
METHODE
ETAPES UCD OUTILS DONNÉES
PRINCIPALE
EXPLORER Qualitatives Entretien audio-video
CO-
CONSTRUIRE
Qualitatives Focus groups audio-video
Tests Mesures et
EVALUER Quantitatives
utilisateurs traces
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Connaissance scientifique ?
Méthode de conduite de la
recherche
Méthode de développement
User Centered Design
Méthode de production et d’analyse Qualitatif / Quantitatif
Méthode de conduite des Protocole / Outils/
études Passation / Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiMETHODE DE CONDUITE DES
ETUDES
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiEXEMPLE : TEST D’UNE INTERFACE SUR
TÉLÉPHONE MOBILE
Connaitre les habitudes sur les habitudes d’utilisation du téléphone mobile
Entretien
Réaliser une première tache avec le téléphone mobile
Mesure de rapidité , de nombre d’erreurs, …
Mesurer l’utilisabilité de l’application
Questionnaire d’utilisabilité
Réaliser une seconde tâche avec le téléphone mobile
Mesure de rapidité , de nombre d’erreurs, …
Mesurer l’utilisabilité de l’application avec la seconde tâche
Questionnaire d’utilisabilité
Debriefing
Grille d’entretien
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiEXEMPLE : APPRENTISSAGE DES
ÉLÈVES AVEC UN EIAH
Pré test : mesurer les connaissances avant un exercice
Questionnaire sur les connaissances
Analyser les comportement des élèves avec l’EIAH
Capture des traces d’interaction
Debriefing avec les élèves
Focus-group
Questionnaire d’utilisabilité
Post-test : mesurer les connaissances après un exercice
Questionnaire sur les connaissances
Post-test lointain : mesurer les connaissances mémorisées
Questionnaire sur les connaissances
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
=> SCENARIO à REDIGER
=> Protocole expérimental ou protocole de production et
d’analyse des données ou protocole d’étude
=> Recenser l’ensemble des étapes qui vont être conduites
pour construire et évaluer la proposition de recherche avec des
utilisateurs
=> Garantir la répétabilité des différentes étapes de l’étude
menée
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
Quelles questions se poser pour rédiger un protocole ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
Quels sont les objectifs de l’étude ?
Quel est l’objet qui est concerné par l’étude ?
Peut on le découper en sous-objet ?
Dans quel état de développement se trouve cet objet, ces sous-objets ?
Quels sont les utilisateurs concernés ?
Qu’est ce que je peux leur faire tester ?
Quelles informations j’attends de leur part ?
Quelles mesures je peux prendre ?
Quels outils je dois construire pour les interroger ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
Quels sont les objectifs de l’étude ?
Quel est l’objet qui est concerné par l’étude ?
Peut on le découper en sous-objet ?
Dans quel état de développement se trouve cet objet, ces sous-objets ?
Quels sont les utilisateurs concernés ?
Qu’est ce que je peux leur faire tester ?
Quelles informations j’attends de leur part ?
Quelles mesures je peux prendre ?
Quels outils je dois construire pour les interroger ?
Choisir les méthodes de production
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
A partir de vos travaux, répondez à ces questions et identifiez
ensuite les méthodes de production les plus adéquates
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
DEBRIEFING
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
Les rubriques 1/2
• Date, auteurs
• Décrire le projet global
• Décrire l’instrument produit par la recherche qui doit être construit et/ou évalué
• Si besoin essayer d’identifier des composants de cet instrument
• Décrire les objectifs de l’étude, autrement dit quelles sont les finalités de l’étude par
rapport à l’instrument et à ses composants
• Rédiger les questions et hypothèses auxquelles l’étude doit répondre
• Pour chaque question, identifier les mesures à prendre
• Lister les phases de l'étude :
• Une phase correspond à une étape pendant laquelle un ou plusieurs composants sont
soumis à une étude pour prendre une ou plusieurs mesures et ainsi répondre à des
questions ou des hypothèses.
• Un seul des états d’un composant peut être étudié par phase.
• Déclaration à la CNIL ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPROTOCOLE D’ETUDE
Les rubriques 2/2
• Pour chaque phase
• Objectifs de la phase,
• Questions ou hypothèses qui seront abordées,
• Composants concernés,
• Etat des composants avant l’étude (à explorer, à co-construire, à évaluer),
• Etat attendu des composants après l’étude (exploré, co-construit, évalué),
• Matériel informatique qui pourra être utilisé (prototype, application, … ),
• Autre matériel relatif à la proposition de recherche (maquette,dictionnaire, schéma, …),
• Méthode de production de données (entretien, captures de traces, … ),
• Matériel expérimental à créer (guide d’entretien, questionnaire, … ),
• Matériel technique pour collecter les données (caméra, enregistreur, oculomètre, …)
• Lieu de passation (labo, in situ … ),
• Type et nombre de participants,
• Données collectées (traces, audio, video, … ),
• Pré-traitement des données (grille de codage, … )
• Méthodes d’analyse des données
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Epistémologie
Connaissance scientifique ?
Design Based research et
Méthode de conduite de la
Design science
recherche
User Centered Design
Méthode de développement
Qualitatif / Quantitatif
Méthode de production et d’analyse
Protocole / Outils/ Passation /
Méthode de conduite des études
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiCONSTRUIRE DES OUTILS DE
MESURE
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiGUIDE D’ENTRETIEN
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN
Exemple :
Etudier les pratiques des ménages par rapport à leur usage de la télévision et de
l’usage des télécommandes.
Instrument : une nouvelle télécommande sous forme de prototype => co-construire
les fonctionnalités proposées.
Mesures à prendre :
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN
Comment faire ?
Lister les mesures à prendre
• Pratiques par rapport à la télévision Contexte
• Fréquence d’utilisation de la télévision
• Types de programmes regardés
• Usage des télécommandes
• Avantages de celles déjà utilisées Eléments
• Inconvénients de celles déjà utilisées
connexes
• Améliorations souhaitées
• Avis sur la nouvelle télécommande
Organiser les mesures par grands thèmes
Perception de la nouvelle télécommande, avantages et inconvénients
Usage de la télécommande pour la tv, Points précis
Opinions sur les télécommandes actuelles , attentes
Usage de la télévision et satisfaction
Ordonner les questions
Le contexte et l’environnement : Fréquence d’utilisation de la télévision
Les points connexes : Utilisation des télécommande de manière générale
Les points précis de l’étude : avis sur la nouvelle télécommande
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN
Comment faire ?
Faire une introduction, sur la raison de l’entretien et comment il va se dérouler
• Il faut présenter au sujet pourquoi nous lui avons demander de participer à cet entretien
• En faisant attention à ne pas lui donner trop d’informations qu’il cherchera à valider pour vous faire plaisir pendant l’entretien
• lui indiquer les étapes de l’entretien
• Lui dire que c’est votre proposition qui est évaluer et pas lui
• Lui dire d’exprimer tout ce qu’il a envie de dire par rapport à la proposition
Les questions s’enchainent, pour arriver au point essentiel de l’entretien
• Lors de la passation de l’entretien, l’interviewé peut parfois aborder les différents éléments prévus par la grille sans forcément respecter l’ordre
que vous avez prévu
• Peu importe : l’entretien est semi-directif ce sera l’enquêteur de conduire l’entretien sans pour autant être dirigiste.
• Laisser le sujet exprimer ses idées même si elles ne sont pas dans l’ordre de la grille. L’enquêteur doit veiller à ce que tous les points soient
abordés.
Lors de la rédaction de la grille : envisager tous les cas de figures.
• Si le sujet a parlé la télécommande
• Si elle n’en a pas parlé
La grille doit contenir les remarques pour l’enquêteur
• ENQUETEUR : Noter tous les objets cités par le sujet
• ENQUETEUR : Faire faire un schéma à la personne pour représenter sa télécommande idéale
La grille se termine en demandant les caractéristiques des participants
Année de naissance, vous êtes un homme/ une femme, votre profession, niveau d’étude, domaine d’activités, votre type d’habitat, nombre
d’enfants … et toutes informations utiles pour répondre à vos questions.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN
Comment faire ?
Les domaines qui sont abordés sont parfois complexes pour cela deux possibilités non exclusives :
Proposer des constats pour lancer l’entretien
Exemple : pour expliquer ce que l’on définit comme un système d’information parallèle
Dans les systèmes d’informations des grandes organisations, une majorité des acteurs n'est pas satisfaite du fonctionnement
de ces applications. En effet, les utilisateurs directs qui constatent souvent un décalage entre leur travail au quotidien et
les applications qu'ils manipulent. Souvent, les évolutions successives de ces applications ne permettent pas de
répondre à leur demande. Evolutions qui sont rarement cohérentes et très changeantes. Du coup, certains installent (ou
même développent) des applications à usage privé (ou équipe), qui finissent par former un système d’information
parallèle qui contient un pourcentage considérable des informations vitales pour l’organisation.
Proposer des définitions sur des termes qui ne doivent pas être ambigus
Aujourd’hui, on entend beaucoup parler de réseaux sociaux. Dans notre étude, il s’agit des réseaux de type facebook où
chacun est libre de déposer des informations qui le concerne et de les partager avec d’autres personnes. L’utilisateur de
facebook peut également créer des groupes de personnes auxquels il réservera certains types d’informations .
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN
Rédiger les questions
Les questions doivent permettre des réponses larges et ouvertes :
Vous avez un agenda électronique ? (non)
Comment ? Pourquoi ? Qui le fait ? Dans quelles circonstances ? (oui)
Ne jamais suggérer de réponses dans les questions
Vous pensez que ce dispositif peut-être utile ? (non)
Que pensez vous de ce dispositif ? (oui)
Poser vous les questions à vous-mêmes
Que répondriez vous ?
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN VS QUESTIONNAIRE
Généralités
Doit comporter une introduction,
La structuration reste la même du plus global au plus précis,
Les modalités des réponses sont définies, à l’exception des questions ouvertes,
Les variables sociodémographiques se situent à la fin.
Types de questions
Les questions fermées (close-ended question) : les réponses aux questions sont fixées, il n’est pas possible de rajouter des modalités de réponses
Questions numériques
Combien de voitures possédez vous ?
Les question semi-ouvertes (semi-open question): questions pré codées, avec l’option autre qui permet d’ajouter des items de réponse.
Quels sont vos sports favoris :
Course à pied
Ski
Natation
Vélo
Autres précisez
Les questions ouvertes (open-ended question) : l’enquêté répond librement, pas de propositions de réponses a priori.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN VS QUESTIONNAIRE
Types de questions
Réponse unique sur une échelle de réponse (scale) :
Echelle de Likert (Likert scale)La personne interrogée exprime son degré d'accord ou de désaccord vis-à-vis d'une affirmation. L'échelle contient en
général cinq ou sept choix de réponse qui permettent de nuancer le degré d'accord. Pas du tout d'accord, Pas d'accord, Ni en désaccord ni d'accord,
D'accord, Tout à fait d'accord. Pour les échelles impaires, le niveau central permet de n'exprimer aucun avis, tandis que les échelles paires (par
exemple à quatre modalités) sont dites « à choix forcé ». (5)
Réponse à choix multiples (multiple-choice questions) :
Choix de plusieurs modalités de réponse : (exemple j’utilise mon portable pour 1- Téléphoner 2 - Envoyer des SMS 3- Pour tenir mon agenda, 4-Pour me
réveiller, 5- Autres )
À opposer aux questions à choix unique, pas de possibilité de rajouter une modalité de réponse
Réponse avec une demande de classement :
les réponses sont ordonnées selon une préférence ou un ordre d’importance. :
Pour le produit XYZ vous classerez les 3 caractéristiques suivantes en partant de ce vous considérez comme son point le plus fort vers son point le plus faible :
Facilité d’utilisation
Fiabilité d’utilisation
Son prix
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiENTRETIEN VS QUESTIONNAIRE
Objectif : Etude sur la connaissance et l’utilisation des portables.
Deux téléphones doivent être étudiés : ALLO et JECOUTE.
Comparaison des fonctionnalités entre les deux téléphones, au niveau des services offerts en version initiale.
Connaître l’utilisation de leur portable
Connaître la connaissance de ces deux matériels
Mesurer les avantages et les inconvénients,
Connaître les perspectives d’utilisations
Entretien auprès de 20 personnes (10 possédant ALLO et 10 possédant JECOUTE), avec un test de matériel les ALLO
testeront JECOUTE et les JECOUTE testeront ALLO
Une grille d’entretien : Privilégier le spontané, si besoin suggérer des éléments
Rédiger une dizaine de questions
Ordonner les questions
Comment passer l’idée d’un nouveau téléphone ?
Rédiger l’introduction pour le questionnaire
Une enquête en ligne 50% possède ALLO et 50% possède JECOUTE
Un questionnaire :
Rédiger une dizaine de questions
Quelles questions socio-démo ?
Ordonner les questions
Comment passer l’idée d’un nouveau téléphone ?
Rédiger l’introduction pour le questionnaire
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Epistémologie
Connaissance scientifique ?
Design Based research et
Méthode de conduite de la
Design science
recherche
User Centered Design
Méthode de développement
Qualitatif / Quantitatif
Méthode de production et d’analyse
Protocole / Outils/ Passation /
Méthode de conduite des études
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiGRILLE DE PASSATION
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiGRILLE DE PASSATION
Objectif : Organiser les différentes étapes d’une phase=> proposition
Lister les hypothèses ou questions : Q1 : le dictionnaire proposé est-il compréhensible par tous ?
Q2 :est-il complet ? H1 : la représentation graphique est correcte
HYPOTHÈSE OU DOCUMENTS ET HEURE HEURE
OBJECTIF DE L’ÉTAPE QUESTION ANIMATEUR ACTIVITÉ DONNÉES PRODUITES DURÉE
MATÉRIELS ASSOCIÉS DÉBUT FIN
CONCERNÉE
powerpoint de
Paul introduction et tour de table 00:10:00 14:00 14:10
présentation
questionnaire sur les pratiques réponse aux
Paul questionnaire n°1 00:10:00 14:10 14:20
des experts en GL questions
INTRODUCTION
Portrait chinois sur la enregistrement
Paul 00:10:00 14:20 14:30
conception en GL audio
présentation d’un outil de powerpoint de enregistrement
Jacques 00:10:00 14:30 14:40
conception présentation audio
lecture du dictionnaire de la
terminologie en silence, dictionnaire et leurs propositions
Q1,Q2 Paul 00:15:00 14:40 14:55
proposition d’un nouveau mot définitions écrites
VALIDER LA ou d’une nouvelle définition
TERMINIOLOGUE
UTILISÉE
enregistrements
Q1,Q2 Paul confrontation des propositions 00:30:00 15:00 15:30
audio des échanges
Montrer les outils graphiques powerpoint de
H1 Jacques 00:10:00 15:30 15:40
que l’on souhaite utiliser présentation
VALIDER LA les représentations
Faire jouer un scénario avec ces les schémas produits
REPRÉSENTATION H1 Jacques graphiques en papier/ 00:30:00 15:40 15:10
objets graphiques et les vidéos
GRAPHIQUE DES OBJETS stylos/ciseaux colles
Jacques et enregistrements
H1 Debriefing grille d’entretien 00:20:00 15:10 15:30
Paul audio des échanges
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPASSATION
Quelques règles pour passer des entretiens ou des focus groups
• Introduire pourquoi on est là et comment cela va se dérouler
• Ne jamais suggérer les réponses
• Prendre des notes
• Noter d’autres questions en cours d’entretien sur lesquelles vous pourrez revenir pour relancer l’entretien
• Faire des questions ouvertes
• Laisser s’installer des silences
• Ne reformuler pas
• Utiliser le vocabulaire de la personne
• Vous êtes là pour écouter pas pour vous justifier
• vous vous justifierez à la fin, mais laissez la personne dire ce qu’elle veut dire
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiSYNTHÈSE A CHAUD
Une synthèse même
rapidement écrite après
un entretien ou une
séance de focus group
est essentielle , elle
permet de gagner du
temps lors de l’analyse
des données.
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPASSATION
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiPLAN
Epistémologie
Connaissance scientifique ?
Design Based research et
Méthode de conduite de la
Design science
recherche
User Centered Design
Méthode de développement
Qualitatif / Quantitatif
Méthode de production et d’analyse
Protocole / Outils/ Passation /
Méthode de conduite des études
Analyse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Entretien : Analyse thématique simplifiée
Méthode en Sociologie : Exemple
Retranscrire les entretiens (1h => 6h)
Thème « Utilisation de la télévision »
A partir de la problématique et de la grille d’entretien,
créer une grille thématique,
A partir de la retranscription des entretiens, Thème nouveau « Utilisation que de l’ordinateur »
identifier les thèmes qui correspondent à la
problématique et aussi les thèmes qui émergent
Sous- thèmes de « utilisation de la télévision »
Les thèmes sont larges, il convient de créer des sous- « utilisation classique »
thèmes « utilisation pour télécharger des films »
« utilisation pour voir des photos avec des amis »
Chacun des sous-thèmes est illustré par des verbatims
Verbatim du sous- thème «utilisation pour voir des
(extraits du discours associé au code du sujet ayant
photos avec des amis »
prononcé de discours)
« c’est pour voir les photos que l’on en fait entre potes
Synthèse pour chaque thème
(S1) »
Synthèse globale
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Entretien : Analyse thématique simplifiée
Méthode en Sociologie : Exemple
Retranscrire les entretiens (1h => 6h)
Thème « Utilisation de la télévision »
A partir de la problématique et de la grille d’entretien,
créer une grille thématique,
En écoutant les entretiens, identifier les thèmes qui Thème nouveau « Utilisation que de l’ordinateur »
correspondent à la problématique et aussi les thèmes qui
émergent
Sous- thèmes de « utilisation de la télévision »
Les thèmes sont larges, il convient de créer des sous- « utilisation classique »
thèmes « utilisation pour télécharger des films »
« utilisation pour voir des photos avec des amis »
Chacun des sous-thèmes est illustré par des verbatims
Verbatim du sous- thème «utilisation pour voir des
(extraits du discours associé au code du sujet ayant
photos avec des amis »
prononcé de discours)
« c’est pour voir les photos que l’on en fait entre potes
Synthèse pour chaque thème
(S1) »
Synthèse globale
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Entretien : Analyse thématique simplifiée
Thèmes Catégorie Exemple
Suivi du travail suivi du travail de l'élève "là ca claque"
"ouh là, mon bonhomme le dipole est pas iden;que"
suivi du travail d'un sous groupe (au moins deux) « Y a quand même un taux important… y a quand même déjà trois
Autre Exemple : élèves qui… qui la refont fait griller une deuxième fois quoi »
suivi du travail de la classe "ils font tous la même chose" "la classe a fini"
Commentaire commentaire, recul sur le travail de l'élève « Ouais donc André, celui qui avait du mal qui meLait le mauvais sens
des résistances »
commentaire, recul sur le travail d'un sous groupe (au moins deux) « ils ont presque tous fermé l'interrupteur en premier pour voir
comment elle fonc;onnait déjà à la base »
commentaire, recul sur le travail de la classe
Diagnos;c Diagnos;c connaissance de l' élève "Ouais lui il a compris tout de suite que c'était le même "
Diagnos;c connaissance d'un sous groupe (au moins deux) "Donc on peut que pour ceux là ça nous donne vraiment une indica;on
sur... ouais sur leur connaissance des lois et leur u;lisa;on quoi"
Diagnos;c connaissance de la classe
Compréhension de Compréhension de l'énoncé c'est là que, ouais ça permet de voir notamment aussi ceux qui ont des…
l'énoncé et des consignes des difficultés dans les lectures de consigne
Respect des consignes
caractéris;ques nominales de la lampe Toutes les caractéris;ques physiques sont bonnes, y a juste le nom qui
est… qui est pas bon quoi
Nom de la lampe indiqué ou non par l'élève Toutes les caractéris;ques physiques sont bonnes, y a juste le nom qui
est… qui est pas bon quoi
remarques du prof sur le recul du prof sur l'exercice proposé à l'élève "Cet exercice est trop dur, finalement la consigne est mal posée"
contenu de l'exercice remémora;on sur l'exercice « Alors le résultat du 3 c'est combien? 70? Je sais plus…. 95. », « Les
dipôles ne sont pas iden;ques »
Tâche de suivi faite par le Commentaire sur le suivi « Alors on va aller voir la séance non l'étape »
prof
logiciel et ihm Incompréhension sur ce qui se passe "je ne comprends pas ce que le logiciel m'affiche" je ne comprends pas
ce que je vois, le logiciel me dit que"
Commentaires sur le logiciel « Donc ça veut dire que ceux qui ont mis rouge ils ont validé et on leur a
dit que c'était faux. »
u;lisabilité "la c'est pas pra;que", "comment je reviens sur la page d'avant" , "je
vois pas l'ensemble de la classe"
Autres Autres "oh il fait chaud ici"
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Schéma
Créer une grille d’analyse pour savoir ce qui doit
être repérer par rapport à la problématique
Photographier chacune des productions
Repérer les ressemblances/les différences entre
les représentations
Repérer ce qui confirme les objectifs de l’étude
Repérer les apports de la représentation des
sujets par rapport à la proposition
Visionner et écouter les films
Conduire une « analyse thématique simplifiée »
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Video
Créer une grille d’analyse pour savoir ce qui
doit être repérer par rapport à la
problématique.
Utiliser des logiciels d’annotations de video
Analyser les annotations
Statistiques descriptives
Extraction de verbatims
Faire une synthèse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Points forts et Points faibles
Outil : Grille qui liste les éléments relatifs à une proposition et qui à deux colonnes une pour noter les points forts et
l’autre les points faibles
Remarque : Outil de production pour une situation expérimentale où le nombre de personnes est réduit.
Table Number : First and last name :
List the strengths and
Exemple : weaknesses on the following Strengths Weaknesses
the work performed with the
+ -
method
the collaborative work
+ -
enabled with the method
The creativity enabled with
+ -
the method
the serious gaming of the
+ -
method
The software compared to
+ -
card game
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Points forts et Points faibles
Méthode :
Saisir l’ensemble des réponses :
Ligne=participants, Colonnes =
réponse aux questions, 2
colonnes par éléments
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Points forts et Points faibles
Méthode :
Faire une « analyse thématique
simplifiée » et une synthèse
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUALITATIVE
Points forts et Points faibles
Faire l’exercice par groupe avec la grille points forts // points faibles du focus group d’Autrans Jean Philippe Pernin,
Christelle Mariais, Florence Michaud et Nadine Mandran
Donner l’article avec la problématique, les études et les résultats et lien aussi sur la thèse de Christelle
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUANTITATIVE
Cycle de vie des données => importance du pré-traitement
Echantillon
Type de variables => quali/quanti/ordinales
Rôles des variables => explicatives et à expliquer
Règles de décision sur le choix de la méthode
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUANTITATIVE
Cycle de vie des données
Préparer l’étude
Analyser les
données
Valider les
données
Préparer la
collecte
c
Interpréter les
résultats
Enrichir les
Collecter les données
données
Communiquer les
résultats
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiANALYSE QUANTITATIVE
Cycle de vie des données
Préparer l’étude
Analyser les
Valider les données données
Préparer
c la collecte
Interpréter
Enrichir les données les résultats
Collecter les données
Communiquer les résultats
N.Mandran , LIG/PIMLIG, Novembre 2016- HaitiVous pouvez aussi lire
