Le questionnaire : les biais dans les questions

Retrouvez cette note sur le nouveau blog !

Après avoir vu le format des questions dans le questionnaire (ouvertes / fermées), attardons-nous sur les biais de formulation des questions.

Les questions que vous allez poser traduisent des indicateurs que vous cherchez à évaluer dans une population représentée par un échantillon. Si vos questions sont mal formulées, vos indicateurs seront faussés et vos conclusions seront certainement érronées.

 

Les questions doivent donc (c'est relativement logique finalement) :

• être compréhensibles : le choix du vocabulaire utilisé doit ainsi correspondre au profil de l'échantillon que l'on va interroger. Il est recommandé d'éviter les phrases trop longues, les syntaxes complexes, etc.
• avoir des réponses (!) : inutile de demander aux interrogés de se prononcer sur des événements trop anciens, ceux-ci pourraient être enclins à inventer la réponse faute de s'en souvenir.
• formulées de façon à avoir des réponses honnêtes : il s'agit de formuler des questions qui ne vont pas favoriser l'envie de répondre pour se donner une bonne image ou pour dissimuler des éléments jugés potentiellement génant socialement ("êtes-vous pour la guerre ?" vs. "comprennez-vous que certains pays, face à des menaces hostiles, puissent s'engager dans une procédure militaire ?").

 

En plus de ces recommdations de base, voici les principaux biais dans la formulation des questions qu'il est bon d'éviter :

• L'utilisation de termes "difficiles" (techniques) : Ce biais rejoint la recommandation de rester compréhensible. Les termes techniques (scientifiques par exemple) ne seront pas forcément compris par tous, essayez donc de vous mettre à la place de la personne lambda : le questionnaire doit être compris par tous les interrogés.
• L'utilisation de termes vagues ou imprécis : J'ai régulièrement à faire face à ce piège lorsque j'aide des clients à construire des questionnaires. En effet, la tentation de poser une question de fréquence de type "A quel fréquence achetez-vous XXX ? Souvent, rarement, jamais ?" est grande. Or, qu'est ce que souvent ? Qu'est ce rarement ? Ces termes sont vagues et ne signifient pas la même chose pour tout le monde. N'hésitez donc pas à préciser tous ces termes vagues (par exemple, préférez "tous les mois" à "souvent").
• Les questions trop longues : On rejoint à nouveau la recommandation de rester compréhensible. N'hésitez pas à couper une question en deux questions (ou trois questions) si elle est trop longue.
• La double négation : A éviter absoluement. Cette formulation vient semer le doute dans l'esprit du répondant qui ne sait plus s'il doit répondre "oui" ou "non". Restez simple !
• La question qui en cache plusieurs : Encore un biais relativement fréquent. On peut parfois voir des questionnaires demandant plusieurs choses dans une seule question. Par exemple : "Pouvez-vous donner une note entre 0 à 10 à l'esthétique (forme, couleurs) de l'objet ?" Ici, que va dire un répondant qui adore la forme de l'objet mais en deteste les couleurs ? N'hésitez pas à éclater vos "doubles questions" !
• La réponse induite : Restez neutre dans vos questions ! Si vous listez des adjectifs pour caractériser un produit, ayez autant d'adjectifs positifs que de négatifs... Encore mieux : préférez des échelles d'accord pour chacun des objectifs, cela limitera le biais.
• Pour conclure cette liste non exhaustive (méfiance donc, il reste d'autres pièges), je citerai un biais qui n'est pas lié à la formulation des questions mais à la structure même du questionnaire : l'effet de Halo : lorsque, dans un questionnaire, plusieurs questions sont posées d'affilée sous la même forme (plusieurs échelles d'accord par exemple), les répondants ont tendance à toujours donner la même réponse. N'hésitez pas à casser le rythme de vos listes de questions avec des échelles inversées ou à des questions qui ne vont pas dans le même sens (un adjectif positif intercalé dans une liste d'adjectifs négatifs par exemple).

Le questionnaire : format des questions

Retrouvez cette note sur le nouveau blog !

Dans le processus d'élaboration du questionnaire, nous avons déjà vu la dynamique de celui-ci. Abordons maintenant le sujet des types de questions.

Attention, il ne faut pas confondre le type de la question (son format) avec la nature de la question, sujet bien plus important que nous aborderons ultérieurement.

Deux grandes familles de questions existent :

1. Les questions ouvertes;
2. Les questions fermées.

1. Les questions ouvertes : celles-ci consistent tout simplement à laisser à l'interrogé la possibilité de répondre ce qu'il souhaite, dans les termes qu'il veut.

Le gros avantage est bien sûr la liberté que ces questions ouvertes permettent. Elle peuvent notamment être très utiles en cas de recherche d'idées, de pistes d'amélioration, d'identification de concurrents (notoriété spontanée), etc.

L'inconvénient majeur est le traitement de ces questions. Il sera ainsi nécessaire de coder les réponses pour les exploiter quantitativement. Cela implique de lire toutes les réponses de tous les répondants pour leur rendre justice de façon plus quantitative (travail fastidieux dès qu'on dépasse les 200-300 répondants). Ce temps nécessaire à leur exploitation se ressent en général dans le coût de ces questions (environ 500 euros la question, tarifs très variables).

Je vous montrerai peut-être, dans une future note, la technique que j'utilise avec les outils Office pour traiter ces questions ouvertes.

Pour pallier à cet inconvénient majeur, les questions ouvertes sont parfois précodées. L'enquêteur possède alors sous les yeux une liste de réponse (qu'il ne lira pas à voix haute) : il lui suffit de cocher la réponse correspondant à ce que l'interrogé lui énonce. Une case "autres" permet alors de noter les réponses auxquelles on n'avait pas pensé.

 

2. Les questions fermées: celles-ci consistent à laisser à l'interrogé la possibilité de choisir entre un nombre limité de réponses prédéterminées (incluant, selon les cas, une modalité "NSP" pour laisser à l'interviewé la possibilité de ne pas répondre).

Nous reparlerons ultérieurement de la nature des questions fermées, qui varie en fonction des possibilités de réponses. Cela est plutôt important car a une influence sur les traitements statistiques réalisables et donc sur l'étude en elle-même.

Le gros avantage de ces questions fermées est le fait qu'elles soient directement exploitables statistiquement, sans travail de codage. Bien entendu, elles perdent en flexibilité de réponse (surtout comparativement aux questions ouvertes) ce qu'elles gagnent en facilité d'exploitation. Elles sont en général moins chères que les questions ouvertes (100-300 euros, tarifs très variables).

Toutefois, un travail de réflexion sur les éventualités de réponse sur chacune des questions fermées lors de la construction du questionnaire permettra de garantir la qualité de ces questions.

 

Pour la création d'un bon questionnaire, je vous recommande de limiter le recours aux questions ouvertes au cas où elles sont vraiment indispensables. Longues à administrer (incitant parfois le répondant à créer une discussion sur des sujets sans lien direct avec l'étude), à exploiter (donc plus coûteuses), elles peuvent également traduire une préparation insuffisante du questionnaire.

La dynamique du questionnaire

Retrouvez cette note sur le nouveau blog !

Dans la construction du questionnaire, la dynamique de celui-ci est un point relativement logique et rapide à aborder mais néanmoins très important.

Un questionnaire doit en effet permettre de répondre aux besoins en information que nous avons... mais il doit le faire de façon intelligente. Et une règle s'impose ici : construire son questionnaire. Celui-ci doit en effet suivre un déroulement logique, écrit (ou en tout cas prévu) à l'avance par l'institut.

Ainsi, et dans la plupart des cas, le questionnaire est construit en entonnoir : on pose les questions les plus larges et les moins implicantes en premier. Cela permet de mettre à l'aise l'interrogé (qui prend le temps de s'acclimater avec le sujet pendant ces questions) et de recentrer peu à peu "l'interview" sur les questions plus précises ou sur les questions plus difficiles voire sur la vie privée.

Dans la même logique de progression, si votre questionnaire comporte plusieurs thèmes ne s'enchaînant pas forcément logiquement, il est préférable d'écrire noir sur blanc des phrases de transition entre les thèmes ("nous allons maintenant parler de..."). Cela facilitera la tâche au terrain et permettra de ne pas désarçonner l'interviewé avec une question innattendue (et donc potentiellement mal comprise).

De plus, la plupart des questionnaires comporte des questions filtres. Celles-ci viennent séparer l'échantillon de répondants : certains répondront à des questions que les autres sauteront. Il faut alors anticiper la place de ces filtres, et vérifier la logique d'enchainement du questionnaires pour les individus filtrés et les non filtrés. Personnellement, j'ai tendance à recommander de ne pas trop utiliser les questions filtres (même si elles sont très pratiques) : utilisées à outrance, elles viennent fortement compliquer le questionnaire.

Enfin, les questions de profil doivent également faire l'objet d'une petite réflexion au moment de la construction du questionnaire. Souvent placées à la fin du questionnaire, elles doivent absolument contenir toutes les infos nécessaires pour un éventuel futur ciblage. A noter qu'elles sont, bien sur, parfois placées en début de questionnaire, notamment lors d'échantillon par quotas, afin de vérifier dès le début les quotas et de ne poursuivre l'interview que si nécessaire.

Concernant les questions de profil, pour ceux qui l'ignorent, les questionnaires sont anonymes, cette règle faisant partie du code de déontologie des instituts d'étude (règle rappelée dans la charte des pratiques éthiques dans les études sur Internet).

Construire le questionnaire (1) : processus d'élaboration

Retrouvez cette note sur le nouveau blog !

Suite aux dernières étapes passées en revue dans ce blog, vous avez maintenant les principaux outils pour constituer votre échantillon. Il convient maintenant d'interroger cet échantillon via un questionnaire.

L'étape de la construction du questionnaire est fondamentale dans l'étude. Sans un bon questionnaire, impossible de répondre à la problématique posée... et les nuances dans les questions et dans le questionnaires sont nombreuses, la construction du questionnaire va donc solliciter notre intérêt pendant plusieurs notes.

Ici, je vous renvoie vers MARKET. Dans ce livre les étapes de construction d'un questionnaire sont très bien listées ; voici un shéma synthétique reprenant celles-ci :

La première étape semble assez simple, c'est celle qui amène à faire l'étude. Toutefois, on comprend rapidement, quand on regarde la deuxième étape que ce n'est pas si simple. En effet, traduire la problématique en besoins en information permet de limiter les contours des celle-ci, ce qui est déjà très complexe. En effet, que celui qui n'a jamais eu du mal à limiter son client sur les informations à collecter avec le questionnaire me jette la première pierre !

Il convient alors, dans ces deux premières étapes de se concentrer sur les besoins en information relatif à l'étude... et non de laisser libre champs à toutes les questions, le client "profitant" de l'étude pour interroger sur tout et n'importe quoi. Cela peut être facilité si le problème a bien été posé dès le début (dans la proposition commerciale, l'institut intègre souvent une partie "problématique") et les hypothèses de recherche définies (encore une fois, je vous renvoie vers Market, très complet sur le sujet).

Une fois les besoins en information bien définis et limités, ceux-ci doivent être traduit en questions. Nous le verrons dans les prochaines notes sur le questionnaire, un vaste travail attend ici l'institut. Il s'agit de trouver les questions idéales pour mesurer un phénomène, alors que les possibilités sont nombreuses et les biais possibles encore plus importants. Ici, tout compte : la question, son type, sa nature, ses modalités de réponses, sa capacité à mesurer un phénomène et l'ordre qu'elle a dans le questionnaire (d'ou un traitement en plusieurs notes).

Nous avons déjà vu les questions d'échantillonnage et de mode d'interview, je vous renvoie ici.

Enfin, une fois élaboré, le questionnaire n'est théoriquement pas terminé. L'étape du prétest n'est pas courante en institut mais plus en recherche. En général, ce prétest se fait sur une trentaine de personnes ; celui-ci permet de valider le premier jet ou d'y porter des modifications avant validation avec le client.

Comme je vous le disais, nous nous attarderons sur plusieurs de ces étapes et sous-étapes dans les prochaines notes, notamment sur la dynamique du questionnaire, les types et natures des questions, et les biais.

Quel mode d'enquête ?

Retrouvez cette note sur le nouveau blog !

Nous l'avons vu, un institut propose à son client/prospect une méthodologie à partir de contrainte théoriques (échantillons probabilistes et empiriques : 1, 2, 3 / les panels, / la représentativité 1 et 2) et de contraintes pratiques :

Nous avons déjà présenté les différentes méthodes probabilistes et empiriques de sondage qu'il existe.

Notons cependant qu'il existe différents modes d'enquête qui peuvent s'appliquer pour chaque des méthodes de sondage :

• L'enquête par téléphone.
• L'enquête postale.
• L'enquête par Internet.
• L'enquête en face à face.

Voici les principaux avantages et inconvénients de ces méthodes :

	L'enquête par téléphone	L'enquête postale	L'enquête par Internet	L'enquête en face à face
Durée d'administration	Ne doit pas excéder 30 min.	Privilégier des questionnaire de 5 à 6 pages	Ne doit pas excéder 10 à 15 min.	Peut durer plus d'une heure si rdv. Sinon ne doit pas excéder 10 à 15 min.
Souplesse d'administration	Difficulté pour montrer des images mais interactions possibles entre enquêteur / enquêté	Aucune interaction possible	Possibilité de montrer des images, quelques interactions via les filtres	Souplesse totale : possibilité de tester des objets, des packaging, etc.
Rapidité de la réalisation de l'enquête	Rapide (si les fichiers sont bons > un bon fichier contient 3 ou 4 fois le nombre d'interviews à faire)	Lent voire très lent	Rapide (si suffisament de contacts). Possibilité d'avoir un traitement automatisé des réponses	Variable (dépend de la cible)
Contrôle de l'échantillon	Maîtrise totale	Aucune maîtrise (qui répond ?)	Maîtrise totale mais difficile d'avoir un échantillon représentatif de la population française (personnes agées peu équipées par exemple)	Maîtrise totale
Couverture géographique	Grande voire illimitée	Grande voire illimitée	Illimitée	Limitée (coûts d'enquête)
Taux de non réponse	Le taux de non réponse varie souvent entre 20 et 40%. Problème des listes rouges	Taux de non réponse souvent très élevé	Le taux de non réponse varie mais semble relativement élevé (si vous avez des infos, je suis preneur)	Très variable
Coûts	Coûts dépendent de la distance des appels	Coûts postaux	Coûts peu élevés	Coûts plus élevés (frais de déplacement, etc.)
Avantages notables	- Possibilité de fixer des Rdv - Bonne implication des répondants - Grande possibilité de contrôle du terrain	- Grande liberté de réponse pour l'interviewé - Possibilité de faire une opération de communication en même temps que l'enquête	- Grande liberté de réponse pour l'interviewé - Gestion des quotas automatisée - Coûts	- Enquête in situ - Dialogue, possibilité de poser des questions plus "privées" - Opération de communication interne auprès du personnel qui voit le déroulement de l'enquête
Inconvénients notables	- Nécessite de bons fichiers - Durée du questionnaire réduite	- Nécessite un gros travail sur le questionnaire, qui doit être limpide - Délais alongés - Réponses parfois illisibles, questionnaires inexploitables - Taux de non réponse	- Seuls les internautes peuvent répondre - Taux de non réponse	- Biais d'enquête - Organisation complexe - Coûts