Qui sont les personnes qui ne répondent pas aux sondages ?

« Pouvons-nous faire confiance aux sondages électoraux ? est une question qui a atteint son paroxysme dans les cercles de junkies politiques depuis les élections de 2016. Une théorie populaire sur les raisons pour lesquelles les sondages électoraux ont échoué en 2016 et 2020 est que les électeurs favorables à Trump ont refusé de répondre aux sondages, ce qui fait que le soutien de Trump parmi la population semble inférieur à ce qu’il était en réalité. Les gens donnent de nombreuses raisons anecdotiques pour expliquer pourquoi cela s’est produit, mais le gros point à retenir de cette théorie est que les sondages électoraux sous-estiment les républicains et les électeurs de Trump.

Bien sûr, de nombreux partisans de cette théorie manquent de données lorsqu’ils font cette affirmation. Le sondage FiveThirtyEight/Ipsos, réalisé à l’aide du KnowledgePanel d’Ipsos, peut nous éclairer sur la question de savoir si cela se produit en 2022. En avril, nous avons lancé une étude par panel avec un groupe d’environ 2 000 Américains dont la composition démographique était représentative des États-Unis. le projet était de voir comment leurs peurs et leurs croyances ont changé au cours des six mois précédant les élections de mi-mandat. Cependant, nous avons constaté que ce projet a une valeur supplémentaire, involontaire. À la suite de cette enquête initiale, il y a eu une forte baisse de la participation à la deuxième vague et une baisse plus faible entre la deuxième et la troisième vague, après quoi la participation a largement plafonné. Au total, il y a eu une baisse de 23 % du nombre de participants entre la première vague et la sixième et plus récente vague (les résultats de cette vague sont à venir). Cela nous permet, d’une manière limitée, d’examiner ce qu’on appelle le « biais de non-réponse » – c’est-à-dire qui est ne pas répondre à des sondages – et son impact sur les données des sondages.

Nos données indiquent que certains répondants qui penchent vers le Parti républicain sont moins susceptibles de participer à des sondages de suivi. Mais nous ne nous sommes pas retrouvés dans une situation où tout Les républicains ne répondaient pas, et nous avons pu trouver quelques indices sur qui pourraient être exactement ces non-répondants républicains.

Les graphiques ci-dessous montrent la part des différents types de répondants de notre enquête initiale qui ont ensuite participé aux vagues suivantes. En examinant chaque vague individuelle, nous pouvons avoir une idée des taux de réponse pour les différents groupes démographiques que nous avons interrogés :

Les personnes qui ont déclaré avoir voté pour Trump en 2020 et qu’elles prévoyaient de voter pour les républicains à mi-mandat cette année ont des taux de réponse très élevés par rapport à l’échantillon global. (Il convient de noter, cependant, que le choix du vote rappelé n’est pas une mesure parfaite. Nous l’utilisons ici comme indicateur de la partisanerie et de l’engagement politique.)

Au lieu de cela, pour la plupart des séries chronologiques, nous constatons une baisse spectaculaire des taux de réponse parmi les électeurs de Trump 2020 qui se disent ne pas susceptibles de voter pour les républicains cette année ou les personnes qui disent voir Trump « très » favorablement (par opposition à « assez » favorablement).

De même, les personnes qui ont déclaré obtenir la plupart de leurs nouvelles de Fox News étaient également plus susceptibles que le répondant moyen de continuer à participer à l’enquête. Et les Américains qui obtiennent principalement leurs informations sur les réseaux sociaux ou qui ne consomment pas du tout d’informations politiques étaient également parmi les plus susceptibles d’abandonner.

Pris ensemble, nous avons une image d’une tranche spécifique de l’électorat républicain qui pourrait ne pas répondre aux sondages : le consommateur d’informations sur les réseaux sociaux qui soutient Trump.

Malgré ces différences dans les taux de réponse, il y a un autre facteur dont nous devons tenir compte dans la façon dont les sondages électoraux sont menés : la « pondération » pour correspondre aux données démographiques de l’électorat. Depuis les élections de 2020, la pondération en fonction du choix de vote ou d’autres caractéristiques politiques est devenue beaucoup plus répandue. Notre enquête FiveThirtyEight/Ipsos pondère la participation et la préférence de vote aux élections de 2020. Ces pondérations politiques peuvent grandement contribuer à combler les lacunes de l’échantillon.

Une façon de visualiser l’impact partisan de l’échantillon est d’utiliser le bulletin de vote générique du Congrès, qui demande aux répondants s’ils prévoient de soutenir un démocrate ou un républicain sans nom lors d’une élection à venir. Lorsque nous examinons comment les répondants ont répondu au scrutin générique lors de la première vague avec notre non pondéré données, nous pouvons voir clairement comment les personnes qui ont participé à notre première vague et à notre vague la plus récente ont biaisé les républicains (33 %) et les indépendants (36 %). L’échantillon restant dans notre vague la plus récente continue de montrer un léger biais en faveur des républicains, avec 32 % choisissant le démocrate contre 34 % le républicain, ce qui suggère que la part de l’échantillon prévoyant de voter démocrate a augmenté. Pendant ce temps, les indépendants étaient le plus grand groupe qui n’a pas répondu à la dernière vague. Si nous laissions les données non pondérées, nous pourrions peut-être surévaluer la performance potentielle des démocrates.

Cependant, lorsque nous ajustons les données avec une pondération qui intègre les préférences de vote de 2020, nous constatons qu’il n’y a pas un tel biais. Si quoi que ce soit, notre dernière vague penche légèrement plus républicaine qu’elle ne l’était avant de la pondérer. Cela suggère que la pondération pour la préférence de vote peut légèrement surcorriger pour les électeurs républicains ou pro-Trump manquants.

Encore une fois, cette analyse est basée sur une seule série d’enquêtes qui revisitent les mêmes personnes. Et bien que nous essayions de tenir compte d’une certaine marge d’erreur dans nos sondages, il existe probablement encore un certain niveau de biais de non-réponse dans notre groupe initial de répondants qui va au-delà de ce que nous pouvons mesurer dans cet exercice analytique. Cependant, ces schémas de non-réponse sont révélateurs des groupes qui sont difficiles à atteindre pour la plupart des enquêtes et, par conséquent, peuvent aider à révéler les types de personnes manquantes dans les sondages publics contemporains. Dans le même temps, il est également clair qu’une grande partie de ce biais peut être expliquée en utilisant des techniques de pondération appropriées pour aligner les estimations sur les informations de référence sur la population.

Pour en revenir à la question de savoir si le biais de non-réponse amène les sondeurs à sous-estimer le soutien républicain, nous nous retrouvons avec un « ça dépend » bien défini. D’une part, nos recherches fournissent des preuves que certains électeurs favorables à Trump sont moins susceptibles de participer à des sondages au fil du temps. Si cela est vrai plus largement, les sondages pourraient sous-estimer le soutien du GOP. Cependant, nous montrons également qu’il y a certainement des républicains dans ces sondages électoraux et la pondération des sondages peut corriger cette poignée de répondants manquants.