Retour sur l’article du Monde de Luc Bronner

Voici mes réponses à l’article du Monde de Luc Bronner

Ces six dernières semaines, j’ai répondu à plus de 200 sondages. Enfin, soyons précis, ce sont mes avatars qui ont été sollicités et qui ont répondu aux enquêtes proposées par les plus prestigieux instituts opérant en France : Ipsos, IFOP, Kantar, BVA, OpinionWay, Harris Interactive, GfK… Pour l’un, je m’appelle Ludivine. Pour un autre, Karim, Louis ou Géraldine. Selon les cas, j’ai 19 ans, 26 ans, 47 ans, 73 ans. J’ai déclaré habiter aussi bien la banlieue parisienne que la Bretagne, la région Provence-Alpes-Côte d’Azur ou le Grand-Est. Je me suis présenté comme homme ou femme, employé, retraité, enseignant ou de profession libérale, artisan ou technicien.

A partir d’une dizaine de comptes enregistrés sous des identités factices, j’ai répondu à un nombre incalculable de questions sur mes habitudes alimentaires, vestimentaires, politiques, sur mes revenus, ma santé, mes goûts, sur mes derniers achats, mes voitures, mes chats et chiens, mes enfants. J’ai inventé des réponses sur les briquets jetables, les dessins de sucettes pour bébés, une future publicité de l’enseigne Système U, les emballages des chocolats Lindt, les slogans d’Orange Bank, de la MAIF ou de Meetic, l’image d’Air France, les bandes-annonces de films qui sortiront en mars 2022, les qualités des acteurs britanniques Robert Pattinson ou Benedict Cumberbatch, les meilleurs ketchups, les meilleurs sextoys, l’image personnelle de Michel-Edouard Leclerc, la politique vaccinale française, les bières artisanales, les crèmes solaires, une comédie française qui devrait s’appeler Medellin, le casting de la future série Amazon The Peripheral, mais aussi sur Yannick Jadot, Anne Hidalgo, Michel Barnier, Xavier Bertrand, le congrès des Républicains, Eric Zemmour, Emmanuel Macron et l’élection présidentielle.

Des études moins coûteuses

Derrière la communication des instituts de sondage, qui n’ont d’instituts que le nom et sont des sociétés d’études marketing dont l’activité principale est de répondre aux commandes des entreprises sur leur stratégie et plus encore sur leur image, se cache un système particulièrement opaque : le recours à des panels de consommateurs, recrutés sur Internet, sans véritable contrôle ni régulation, en échange d’une rémunération modique, pour donner leurs opinions sur tous les sujets imaginables. Des outils devenus déterminants aussi bien dans la conduite des politiques publiques par les Etats que dans la bataille des campagnes électorales, et notamment celle de l’élection présidentielle.

Officiellement, ces bases de données, appelées « access panels » dans le jargon des sondeurs, offrent qualité et fiabilité. Dans la réalité, soulignent les experts en sondages qui ne sont pas sous contrat avec les instituts, ces études, peu transparentes, présentent surtout l’intérêt d’être moins coûteuses dans une période et un secteur où la concurrence sur les prix est extrêmement forte. Des individus peuvent en effet s’inscrire sur chacune de ces bases en donnant simplement un e-mail, une adresse (non vérifiée) et des indications (pas vérifiées elles non plus) sur leur vie, leurs goûts, leurs revenus. Ils peuvent répondre honnêtement, ou pas, prendre leur temps et soupeser leurs opinions.

Mais ils peuvent aussi cliquer rapidement, inventer leurs réponses et remplir les questionnaires en espérant gagner davantage de points, qu’ils convertissent ensuite en bons d’achat sur des sites commerciaux – personne n’ira le leur reprocher. Ils peuvent compléter un questionnaire par an ou bien des dizaines. Rien n’est prévu, non plus, pour empêcher les inscriptions sur plusieurs panels avec la même adresse électronique, et encore moins avec différentes adresses.

Enquêtes en ligne

Depuis vingt ans, le recours à de tels panels n’a, de fait, cessé de se développer, au point que les 69 sondages déjà publiés pour l’élection présidentielle 2022 ont, jusqu’à présent, tous été conduits de cette manière, en ligne. Pour deux raisons cumulatives : d’abord, la difficulté croissante des sondeurs à mener des enquêtes par téléphone en raison de l’usage massif des smartphones et de l’explosion du nombre d’utilisateurs refusant de répondre aux appels de ce type ; ensuite, parce que les sondages en ligne, dits « auto-administrés », ne mobilisent plus d’enquêteurs pour téléphoner ou se déplacer au domicile des personnes interrogées (méthode dite « en face à face »), et sont donc infiniment moins coûteux. Là où il fallait auparavant des dizaines d’intérimaires pendant plusieurs jours afin de réaliser un sondage sur 1 000 personnes, il suffit désormais d’une poignée de cadres pour programmer les études puis les analyser.

Il suffit de taper « sondages rémunérés » sur un moteur de recherche pour se voir proposer des inscriptions sur les sites des principaux gestionnaires des bases de données

Cette évolution a bousculé le secteur et fait naître de nouveaux acteurs. Bilendi, par exemple, société méconnue du grand public et des médias, est le prestataire d’instituts de sondage comme IFOP ou BVA : plus de 700 000 « panélistes » seraient inscrits en France dans sa base de données, via son site Maximiles.com, et 2,2 millions en Europe. « La plupart des instituts de sondage reposent sur des acteurs comme nous, explique Marc Bidou, PDG de Bilendi (34 millions d’euros de chiffre d’affaires en 2020), en forte croissance depuis deux ans. On ne fait pas les questionnaires, on ne fait pas les analyses et les redressements, nous collectons les données dans les délais et en respectant les critères. »

Même chose pour Dynata, un opérateur américain puissant qui annonce 10 millions de panélistes en Europe. Sur son site français, j’ai répondu à des enquêtes, parfois hâtivement traduites de l’anglais, pour GfK, Qualtrics, mais aussi l’IFOP ou Ipsos. Il arrive en effet régulièrement qu’un institut fasse appel à la base de contacts du concurrent, notamment quand il lui manque certaines catégories d’individus. OpinionWay (100 000 inscrits annoncés), Harris Interactive-Toluna (1,6 million) ou Ipsos (171 000 inscrits, partenaire du Cevipof, centre de recherches de Sciences Po, de la Fondation Jean Jaurès et du Monde sur les intentions de vote) possèdent leurs propres bases – en jargon marketing, on parle de « panels propriétaires ».

Attirer les « panélistes »

La valeur des sociétés de sondage, ou des prestataires, dépend de la taille affichée et de la qualité annoncée des panels. La première zone d’ombre porte justement sur le recrutement des panélistes. Il suffit de taper « sondages rémunérés » sur un moteur de recherche pour se voir proposer des inscriptions sur les sites des principaux gestionnaires de ces bases de données. Les sociétés de sondage investissent aussi sur des liens sponsorisés, les réseaux sociaux, des fichiers « clients », des programmes de fidélité ou des bannières publicitaires sur des centaines de sites afin d’inciter des internautes à rejoindre leurs panels. L’objectif est double : augmenter le nombre d’inscrits, argument-clé pour les directions marketing des entreprises prêtes à acheter des études, et aller chercher les profils de panélistes moins faciles à recruter (des jeunes, par exemple, nettement moins représentés).

Dans la phase de recrutement des panélistes, l’argumentaire des sociétés de marketing joue à la fois sur la promesse de pouvoir donner son avis et la perspective de gagner de l’argent : « Influencez votre monde » (Toluna), « Vos habitudes vous rapportent » (Maximiles-Bilendi), « Partagez votre opinion et gagnez des récompenses » (Ipsos), « La communauté des consommateurs et des citoyens dont l’avis compte et rapporte » (OpinionWay), « L’avenir est entre vos mains » (Dynata). Les sommes en jeu sont assez dérisoires (le plus souvent, moins de 1 euro par enquête complétée), sauf à multiplier les comptes et les sondages. Les panélistes gagnent des points en fonction du temps passé (de trois à soixante minutes). Mais sans jamais faire fortune : après des dizaines d’heures à cocher des cases, j’avais la perspective de gagner quelques dizaines d’euros (ce que je n’ai pas fait).

Certains profils, plus rares, sont donc plus précieux que d’autres. Mes avatars de jeunes, par exemple, ont reçu davantage de sollicitations que ceux d’âge moyen. Car les fournisseurs de panels doivent respecter les quotas de la population française (âge, sexe, catégorie sociale, région, etc.) pour proposer des échantillons supposés être représentatifs. Leur procédé est assez simple : pour remplir leurs obligations, ils ouvrent les robinets à mails au sein de leurs bases, jusqu’à ce que la bassine de panélistes soit pleine, en l’espace de quelques jours généralement, parfois sur un temps plus long.

Entre 5 000 et 10 000 personnes contactées

Les plus rapides à répondre ont toujours plus de chance d’être sélectionnés pour l’enquête. S’il faut 500 femmes dans une étude pour respecter le quota, et que vous êtes la 501^e à répondre, vous recevrez un message vous remerciant de votre intérêt mais expliquant que l’enquête est terminée pour votre profil. Même chose s’il faut 240 personnes de plus de 65 ans, et que vous arrivez après ceux qui avaient le temps de répondre en pleine journée. « Le nombre de participants requis correspondant à votre profil est désormais atteint », m’ont annoncé les sites à chaque fois que j’ai un peu tardé à me connecter.

Les sociétés de marketing affirment contacter entre 5 000 et 10 000 membres de leurs panels afin de parvenir à construire un échantillon représentatif de 1 000 personnes. Pour une thèse sur la fabrication des sondages (dont la soutenance est prévue en décembre), le chercheur en sociologie Hugo Touzet s’est immergé pendant quatre mois dans le département « opinions » d’un institut de sondage. Il raconte que la sollicitation des panélistes peut devenir un enjeu de tension au sein même des instituts : « Lorsque les sondages en cours sont trop nombreux, il n’est pas possible d’en entamer de nouveaux. On dit que le “terrain” – téléphone ou “online” – est “bouché”. Cela signifie que les équipes chargées de l’administration des questionnaires par téléphone ne sont plus en mesure de gérer davantage de demandes, ou qu’un trop grand nombre d’individus membres des panels sont simultanément sollicités. »

Contrôle par des questions pièges

Les entreprises qui gèrent les stocks de panélistes affirment garantir la qualité en mesurant leur temps de réponse et en éliminant les données de ceux ou celles qui semblent cliquer trop rapidement par rapport à la moyenne des autres répondants. « Nous avons des procédures pour vérifier la qualité des réponses. On enlève par exemple en temps réel ceux qui répondent trop vite », note Brice Teinturier, directeur général délégué d’Ipsos. Les sociétés de sondage affirment également être protégées d’éventuels robots, utiliser les empreintes numériques et les adresses IP des ordinateurs afin d’éviter des formes de « bourrage des urnes » numériques, notamment venant de l’étranger. Elles ont aussi mis en place des questions pièges censées vérifier la concentration des répondants afin d’éliminer tout ou partie des questionnaires jugés incohérents – par exemple, l’internaute qui cocherait toujours la même colonne de réponses.

A la fin d’une longue enquête sur les moyens de paiement, Ipsos m’interroge par exemple pour vérifier la cohérence de mes réponses. « J’ai 47 ans. Vrai. Faux. » Puis une deuxième question dont la traduction a été oubliée : « I am female. Vrai. Faux. » A propos d’un sondage GfK sur la décoration et l’ameublement, la photo d’un troupeau de moutons s’affiche sur l’écran. Sept réponses sont possibles (panda, tigre, vache, chien, mouton, etc.). Une autre fois, c’est un zèbre ou un poisson jaune. Ou encore, dans un genre différent, la capacité à répondre à cette interrogation : « Si nous sommes mardi aujourd’hui, demain nous serons… ? » Il faut cocher la bonne case afin d’être considéré comme un répondant sérieux.

« Ne passez pas à côté de l’occasion d’exprimer votre opinion ! Vous pourrez tenter de remporter l’un des dix prix de 10 000 points chacun mis en jeu », m’informe Ipsos

Les panélistes sont censés être interrogés avec parcimonie afin d’éviter qu’ils deviennent des « professionnels des études » – un biais considéré comme absolument majeur, y compris dans les publications professionnelles. Les gestionnaires des bases de mails et les sondeurs avancent des statistiques rassurantes. Ipsos m’annonce ainsi, dans un premier temps, qu’il n’est pas possible de compléter plus de deux études par mois et que les contrôles sont extrêmement stricts. Même discours chez IFOP. Ou chez BVA, qui évoque l’engagement de ne pas réaliser plus de deux enquêtes mensuelles par panéliste.

Or, je n’ai, en réalité, pas cessé d’être relancé afin de participer à des études ou à des loteries, d’installer les applications des panels sur mon smartphone, de parrainer des proches, d’accepter de recevoir des notifications et, in fine, de remplir des questionnaires à la chaîne. « Merci de continuer à changer les choses ! Cliquez sur le bouton ci-dessous pour répondre à davantage de sondages, obtenir davantage de récompenses et avoir plus de chances de gagner ! », me relance Dynata juste après avoir terminé un sondage. « Ne passez pas à côté de l’occasion d’exprimer votre opinion ! Vous pourrez tenter de remporter l’un des dix prix de 10 000 points chacun mis en jeu », m’informe Ipsos dans l’un des six ou sept mails de relance reçus certains jours pour participer à autant d’études différentes. J’ai ainsi pu compléter jusqu’à quatre questionnaires en vingt-quatre heures chez Ipsos. Sur Harris-Toluna, j’ai pu démarrer onze sondages et en terminer intégralement trois en une matinée. Idem chez Dynata où j’ai pu compléter trois enquêtes différentes par jour.

Créer des faux comptes

Ces exemples embarrassent les sondeurs. « Nous n’exerçons actuellement pas de contrôle direct sur nos prestataires/panels, ­reconnaît, avec une transparence rare, Adélaïde Zulfikarpasic, directrice opinions chez BVA. La prestation repose pour l’heure sur une relation de confiance dont je suis consciente des limites. » Avec cette précision envoyée par SMS : « Notre équipe qualité travaille néanmoins à la mise en place d’un processus qui reposerait en partie sur votre approche » – en clair, créer des faux comptes, moyen efficace de vérifier les déclarations des panélistes. « Nous suivons de très près nos métriques [statistiques de performance], affirme, pour sa part, Henri Wallard, directeur général d’Ipsos France. Sur les quelque 171 000 panélistes à la fin septembre, 123 000 n’ont répondu à aucune enquête sur le mois de septembre, un peu plus de 48 000 ont répondu à une enquête au moins. »

Parmi ces derniers, selon les tableaux transmis par Ipsos pour faire preuve de transparence, 1 000 internautes du panel ont complété à eux seuls plus de 11 700 enquêtes en un mois. Cette statistique est délicate pour les instituts. Car il n’existe aucun moyen de savoir si ces forcenés des sondages, qui pèsent potentiellement assez lourd dans la fabrique de l’opinion, ne sont pas inscrits sur d’autres panels. Aucun moyen, par ailleurs, de vérifier si des militants habiles n’ont pas été tentés de coloniser des panels afin de promouvoir leurs idées ou leur camp. « Ce qu’on contrôle, c’est la représentativité des échantillons, notamment démographique et sociale. On ne va pas plus loin », admet Stéphane Hoynck, secrétaire général de la Commission des sondages, l’instance indépendante chargée par la loi de leur contrôle, essentiellement composée de juristes, dont une partie de retraités.

« Il faut éviter que les gens qui répondent deviennent des professionnels des études » – Zysla Belliat, consultante

Le débat peut sembler technique. Il ne l’est pas du tout du point de vue des experts. Parce que si les internautes interrogés sont souvent les mêmes, et prennent l’habitude de répondre, la valeur de leurs opinions chute fortement. « Il faut éviter que les gens qui répondent deviennent des professionnels des études. C’est indispensable d’avoir des gens un peu vierges dans leurs réponses », souligne Zysla Belliat, consultante et enseignante. « Globalement, sur les contrôles effectués, on reste sur du déclaratif. On a peu de données précises sur les niveaux de sollicitations. On ne connaît pas non plus le pourcentage de panélistes communs à plusieurs panels », relève Flora Chanvril, chargée d’études statistiques au Cevipof.

Les scientifiques ne masquent pas leur scepticisme. « Les “access panels”, c’est un brouillard absolu, il n’y a aucune garantie », dénonce l’universitaire Alain Garrigou, membre très critique de la Commission des sondages. « Toute méthodologie a ses biais, souligne de son côté le politologue Vincent Tiberj, mais au moins, avec le téléphone ou l’entretien en face à face, vous êtes certain de ne pas réinterroger les mêmes. » « Pour les “access panels”, on ne maîtrise pas les processus de recrutement et les motivations de ceux qui s’inscrivent, constate Stéphane Legleye, expert de l’Institut national de la statistique et des études économiques (Insee), auteur de plusieurs publications scientifiques reconnues sur ces sujets. C’est un premier problème. Ensuite, pour les panélistes, l’aspect volontaire de la participation aux sondages est un second biais important : dans une enquête aléatoire, en principe, les personnes interrogées n’ont pas d’intérêt particulier à participer. »

Dimension artisanale

Le statisticien Michel Lejeune, auteur d’un ouvrage très documenté, La Singulière Fabrique des sondages d’opinion (L’Harmattan, 168 pages, 19 euros), souligne la dimension artisanale, et non scientifique, de ces études. « Ces panels low cost sont un véritable déni de la notion de sondage aléatoire, dénonce-t-il. Ils recourent en effet à l’appel à volontaires, qui est considéré depuis longtemps comme une méthodologie qui ne permet pas d’extrapoler des résultats à une population. » Le politologue Martial Foucault, directeur du Cevipof, commanditaire régulier de sondages, s’interroge aussi sur les limites des études en ligne : « La qualité des panels dépend des trous dans la raquette, note-t-il. Quel est le profil sociologique des gens qui ne seront jamais dans les panels ? Les non-répondants, c’est une question majeure et on ne sait rien là-dessus. » Plusieurs sources signalent, plus largement, la difficulté pour publier des articles scientifiques dans des revues internationales à partir de la méthode des quotas, dominante en France mais critiquée dans d’autres pays.

A la multiplication des sollicitations s’ajoute l’effet d’accumulation de ques­tionnaires parfois interminables (jusqu’à soixante minutes pour un sondage sur les médias censé être rempli par un adolescent de 16 ans). Certains instituts diffusent, par ailleurs, ce qu’ils appellent des « omnibus ». Ces sondages avec une multitude de questions différentes, peu coûteuses pour les entreprises ou les médias commanditaires ­ (entre 800 et 1 000 euros hors taxe par question), sont assez déstabilisants pour les ­panélistes et durement critiqués par les scientifiques. Cette dimension du travail des sondeurs reste généralement invisible parce que les études demeurent confidentielles et parce que le nom, comme la motivation, des financeurs est un secret commercial.

Pour l’IFOP, par exemple, le 10 octobre, en tant que panéliste Dynata, je réponds à une première question : « Avez-vous déjà cherché à savoir si vous étiez personnellement atteint de diabète ? » Puis : « Etes-vous inscrit sur les listes électorales pour aller voter ? » Suivent des interrogations sur les intentions de vote pour la présidentielle et des questions sur les thèmes jugés déterminants dans le cadre de la campagne (salaires, droit des femmes, laïcité, etc.). L’IFOP enchaîne avec une série d’opinions sur lesquelles je dois me prononcer (de « tout à fait d’accord » à « pas du tout d’accord ») : « La France doit rester un pays chrétien », « Pour les juifs français, Israël compte plus que la France », « Il faudrait rétablir la peine de mort », « La femme est faite avant tout pour avoir des enfants et les élever », etc.

Je continue le sondage. L’institut demande mon avis au sujet d’une dizaine de lois « mémorielles » ou réprimant les propos racistes ou négationnistes. Puis le sondeur fait réagir ses internautes sur 15 citations anonymes (« Il n’y a pas de différence entre islam et islamisme », « Les Français sont devenus étrangers dans leur propre pays », « Il faut arrêter de se soumettre aux injonctions abominables des mouvements LGBT », etc.). Sans aucune indication sur l’auteur, en l’occurrence Eric Zemmour. Le commanditaire de ce sondage est inconnu. Parti politique ? Equipe de campagne ? « Nous ne commentons pas », répond Frédéric Dabi, directeur général « opinions » de l’IFOP.

« Etes-vous… ? Catholique pratiquant, non pratiquant. Protestant. Juif. Musulman. Autre… » Vingt-trois minutes de questions-réponses, vingt points sur le compte du panéliste

Je continue à cliquer. Les questions suivantes portent sur les qualités comparées de la socialiste Anne Hidalgo et de l’écologiste Yannick Jadot, le bilan d’Emmanuel Macron, les chances des différents candidats de gauche. Je dois ensuite répondre à cette interrogation : « Actuellement, vous définissez-vous comme… ? Hétérosexuel (le). Bisexuel (le). Homosexuel (le)/lesbienne. » J’ai aussi la possibilité de cocher la case : « Je ne me définis pas par ma sexualité. » Ou de ne rien répondre. La dernière question est aussi personnelle : « Etes-vous… ? Catholique pratiquant. Catholique non pratiquant. Protestant ou évangélique. Juif. Musulman. Autre religion. Sans religion. » Vingt-trois minutes de questions-réponses, vingt points ajoutés à mon compte Dynata, pour une étude aux antipodes d’une démarche scientifique.

………