Conférence à l’IREP sur l’efficacité dans les études en ligne et les risques du « clicking through »

Dans le cadre du séminaire IREP sur l’efficacité le jeudi 11 mai, je présenterai une conférence intitulée « L’efficacité dans les études en ligne et les risques du clicking through ».

Voici en quelques mots la problématique que je compte aborder :

Le débat concernant l’efficacité des études online s’est longtemps focalisé sur les questions de représentativité et a occulté une question essentielle, les conditions de recueil.

Les conditions de recueil sont pourtant cruciales online car l’auto-administré entraîne un transfert de la responsabilité de l’interviewer sur l’interviewé, qui se trouve seul face à l’écran.

Dans cette situation nouvelle, on constate qu’il y a un réel danger que les américains appellent le « clicking through ». Les interviewés bâclent leurs réponses voire répondent un peu au hasard.

Face à ce danger, Il est donc essentiel que l’interviewé soit motivé et réponde consciencieusement aux questions qui lui sont posées.

Jusqu’ici, la plupart des techniques de recueil pour le quanti en face à face ou au téléphone ont été élaborées sur les enseignements de l’école béhavioriste, où chaque réponse donnée est analysée comme une réaction à un stimulus. Le répondant n’avait pas besoin d’être particulièrement impliqué, chaque variable étant isolée en atome simple, pour susciter une réaction quasi physiologique, du type réflexe, et la mesurer de façon optimale (sans influence du contexte) sur une échelle graduée (pas du tout, un peu, beaucoup).

Ce modèle supposait en outre un contrôle minimal de l’interviewer sur l’interviewé (en face à face, au téléphone), où s’appuyait sur l’empathie humaine pour enrober l’aridité machinale d’une suite de questions.

Avec l’évolution des conditions de recueil (perte du contrôle de l’interviewer, implication nouvelle de l’interviewé), le mode de recueil ne doit-il pas évoluer lui aussi ?

Il faut notamment s’interroger sur :

– ce qui peut provoquer cette attitude de réponses négligées ou « à la va vite » 

– ce qui peut motiver l’interviewé à répondre en s’appliquant

– comment sont construit et mis en forme les questionnaires en ligne : découpage, présentation des questions, etc

– quels sont les moyens de contrôle permettant de repérer et de supprimer les réponses négligées

Cet exposé sera l’occasion de passer en revue notamment les points suivants :

– le rôle du titre du questionnaire par rapport au sujet

– la longueur/durée des questionnaires en ligne

– l’utilisation de logiciels permettant d’animer le questionnaire

– la construction du questionnaire (avec une question par page ou sur une seule page) et le nombre de questions par page

– l’enchaînement des questions

– les avantages et les inconvénients d’une conception atomistique du questionnaire, où chaque question est isolée d’une autre, dans l’espoir d’obtenir une réponse aussi « pure » possible (sans influence des questions les unes sur les autres)

– l’utilisation des filtres permettant d’éjecter les interviewés non pertinents

– les réponses forcées (obligeant l’interviewé à répondre pour passer à la question suivante)

– les interrogations en plusieurs vagues

– la gestion des incentives (niveau, modalité d’envoi)

– la relation contractuelle avec l’interviewé

– le rôle des questions ouvertes

– le contrôle du résultat

– le nettoyage des réponses insatisfaisantes