[Grand Format] Les sondages se sont-ils vraiment trompés sur François Fillon ?

D’après Arrêt sur Images, “les sondages ont (encore) [été] aveugles au point de ne [pas] voir venir […] Fillon”. Est-ce réellement le cas ?

Je viens à l’instant de recevoir cet email d’Arrêt sur Images :

La cause serait donc entendue : les sondages ont failli, aussi bien pour Trump que pour Fillon. Dans le cas de Trump, en réalité ils ne se sont pas plus trompés qu’en 2012, il semblerait que ce soit plutôt leur interprétation qui ait été défaillante. Et dans le cas de Fillon, que s’est-il passé ?

Ce que mesurent réellement les sondages

Avant d’aller plus loin, il me paraît absolument nécessaire de faire quelque chose que les journalistes ne font quasiment jamais : se demander ce que mesurent réellement les sondages.

La tentation est en effet forte de croire que les sondages sont des outils prédictifs, qu’ils mesurent ce qu’il va se passer – à la date de l’élection, par exemple. C’est toutefois une immense erreur que de le croire.

Le principe d’un sondage est de faire une photographie de la population à l’instant [latex]t[/latex]. Pour le dire autrement, un sondage mesure ce qu’il se passe au moment où la mesure a lieu. Il ne mesure donc pas ce qu’il s’est passé, et encore moins ce qu’il va se passer – ce qui est par définition impossible.

Croire qu’un sondage peut prédire le résultat d’une élection est donc une simplification excessive, et par la même occasion une (grossière ?) erreur.

Les sondages à propos de Fillon

Qu’en est-il des derniers sondages à propos de Fillon ?

Pour répondre à cette question autrement qu’au doigt mouillé, j’ai compilé une base de données des sondages ayant été réalisés entre octobre et novembre à partir d’une liste disponible sur L’Internaute – construire une telle base de données ne se fait d’ailleurs pas en deux minutes, au moins c’est dit !

J’ai suivi les scores de François Fillon, Alain Juppé, Nicolas Sarkozy et Bruno Le Maire. Voici ce que l’on observe :

Après lecture de ce graphique, dire que les sondages n’ont pas vu venir la victoire de Fillon me paraît franchement exagéré : très clairement, les sondages ont su mesurer qu’une tendance particulièrement favorable à François Fillon était en train de se mettre en place au cours des quelques semaines qui ont précédé le vote.

Par curiosité, j’ai ajouté les scores des différents candidats à la fin du précédent graphique. Voici le résultat :

Alors certes, on note une forte inflexion de la courbe de Fillon la dernière semaine ¹Il y a toutefois déjà une inflexion la semaine du 31 octobre., mais est-ce suffisant pour dire que les sondages ont été “aveugles” ? Je ne le pense pas.

Ce qu’ont mesuré ces sondages

Tout d’abord, il faut bien avoir en tête que le résultat d’un sondage est toujours accompagné d’une marge d’erreur (souvent de plusieurs points de pourcentage). Pour le dire autrement, à partir du moment où les résultats deviennent serrés, les résultats du sondage ne permettent plus vraiment de conclure sur l’ordre dans lequel arrivent les candidats. En général, cette marge d’erreur est de 2 à 4 points de pourcentage.

Dans le cas de cette primaire, il faut aussi avoir en tête que l’exercice est inédit, à la fois pour le parti qui l’a organisé que pour les instituts de sondage. Leur reprocher d’avoir éventuellement (et si c’est le cas, plutôt légèrement) sous-estimé l’intensité de l’explosion de François Fillon dans les tous derniers jours me paraît, à cet égard, assez malhonnête.

Surtout, si l’on suppose que le thermomètre a bien fonctionné et que les mesures faites par les sondages sont relativement correctes, il y a deux jours d’écart entre le dernier sondage et la date du premier tour. Peut-on imaginer qu’une partie importante de l’électorat se soit décidée au cours de ces derniers jours ?

Bien qu’elle reste à démontrer, cette hypothèse me paraît toutefois loin d’être improbable : l’exercice d’une primaire consiste à départager des candidats issus pour l’essentiel du même parti, donc qui ont d’importants points communs idéologiques. Pour le dire autrement, ça n’est pas si différent de voter pour François Fillon, Alain Juppé ou Nicolas Sarkozy – alors que c’est par contre bien différent de voter pour, disons, François Hollande et Nicolas Sarkozy. Il suffit qu’une partie de l’électorat assez homogène entre elle (c’est-à-dire qui se ressemble) se dise la même chose en même temps (ce qui n’est pas improbable compte tenu de son homogénéité) pour obtenir ce genre de mouvement assez brutal dans les intentions de vote (et les votes réels, si le mouvement a lieu quelques jours avant l’élection).

Par ailleurs, j’insiste à nouveau sur le fait que les sondages n’ont pas de valeur prédictive : ce qui est mesuré le 18 novembre ne permet pas nécessairement de prédire ce qu’il va se passer le 20 novembre. Si vous prenez votre température le 18 novembre, cette mesure ne vous dit rien de votre température deux jours plus tard. Et si entre temps vous tombez malade (et donc que votre température augmente soudainement), allez-vous en conclure que votre thermomètre est cassé ? Ça serait une conclusion bien étrange…

À mon sens, ce qu’ont mesuré les sondages est que Fillon a, d’une manière ou d’une autre, réussi à convaincre une part significative de l’électorat de droite dans les tous derniers jours. Sont-ce les débats qui l’ont porté, comme il le pense ? Est-ce son passage dans l’émission de Karine Lemarchand ? Un processus qui s’est emballé dans la dernière ligne droite ? Ou bien encore autre chose ?

Avec les données et informations à notre disposition, il est impossible de répondre à aucune de ces questions – qui ne resteront pour l’instant que des hypothèses.

Vais-je finalement m’abonner à Arrêt sur Images ?

Et bien… non. Je n’ai rien contre Daniel Schneidermann ni Arrêt sur Images, mais reprendre avec si peu de recul l’idée que les sondages se seraient complètement trompés me paraît, pour le coup, manquer un peu de cette “indépendance” que l’on essaie de me vendre.

Être indépendant vis-à-vis des puissants et des intérêts est une nécessité que je partage moi-aussi, mais je pense qu’être indépendant vis-à-vis des lieux communs et des stéréotypes est au moins aussi important. Car mine de rien, parce qu’ils simplifient la pensée et empêchent de remettre en cause ce qui nous paraît (à tort ?) être des évidences, eux aussi sont des dangers pour nos démocraties.