Sondages 2007 : quel bilan ?
Claire Durand, spécialiste des sondages d’opinion, a publié il y a quelques jours un bilan des sondages électoraux de l’élection présidentielle de 2007. Résumé où il apparaît que les leçons de 2002 n’ont pas toutes été retenues …
Durand avait montré que la catastrophe française de 2002 était en partie imputable à l’utilisation de la méthode des quotas(voir ce billet), déjà mouillée dans de grosses erreurs de prédiction dans le passé comme l’élection US de 1948, (voir la fameuse photo du Président élu Truman ci-contre). Elle avait aussi pointé du doigt les redressements des courbes à l’intuition et la culture du secret des sondeurs français.
L’élection de 2007 a été l’occasion pour Durand de voir si les sondeurs français ont corrigé le tir. L’étude de Durand porte sur les instituts BVA, CSA, IFOP, Ipsos, LH2 (Louis Harris), et SOFRES (les sondeurs d’Opinion Way ont été exclus de l’étude car leurs études sont menées sur Internet et ne peuvent donc correctement sonder toute la population).
Sondages de premier tour
L’étude des résultats du premier tour fait très mal pour les sondeurs. En effet, Durand montre que les sondages de premier tour de 2007 étaient moins précis statistiquement que les sondages de 2002 ! Pour une raison simple : les écarts entre les scores prédits et les scores réels des candidats majeurs (PS, UMP et Le Pen) étaient plus grands en 2007 qu’en 2002. Durand s’est penchée plus particulièrement sur les sondages de la semaine du premier tour. Comme je l’avais souligné ici même le 22 avril, les sondages du premier tour étaient non seulement hors de la marge d’erreur pour nombre d’entre eux, mais surtout biaisés en faveur de Le Pen et au détriment de Sarkozy et Royal. La catastrophe sondagière est passée inaperçue car les écarts réels entre les candidats étaient largement supérieurs à la marge d’erreur … Cependant, Durand note que l’aggrégation “droite-gauche” (63-37) était, elle, correctement prédite (Bayrou étant semble-t-il considéré de droite).
Sondages de deuxième tour
L’évolution des sondages de deuxième tour a une allure très simple : Sarkozy et Royal commencent à 50-50 au début de l’année, puis Sarkozy atteint lentement 53 en mars, reste collé en moyenne à ce score jusqu’à … trois jours avant le second tour où il monte à 55 dans les sondages (je m’en étais agacé à l’époque, doutant sérieusement de la justification scientifique d’un tel bond après 6 mois de courbes lissées ). Durand montre effectivement que ces derniers sondages sont suspects (!) : si on prolonge la tendance prédite par les sondages en prenant en compte les sondages des derniers jours, on tombe hors de la marge d’erreur. Sans ces sondages des derniers jours, la projection est exacte. Coup de pied de l’âne : Durand souligne que, mathématiquement, les sondages de deuxième tour devraient être plus précis car il n’y a que deux choix, la marge d’erreur est réduite. Je vous laisse conclure sur ces trois derniers sondages d’avant le second tour.
Bilan des méthodes
Durand se penche ensuite sur les méthodes des sondeurs, et en particulier leur “indépendance” relative. Les sondages de 2002 étaient très suspects car les sondeurs prédisaient tous exactement les mêmes résultats. Compte-tenu de la qualité de leur boule de cristal version 2002, cette touchante unanimité montrait que les sondeurs “s’inspiraient” probablement des résultats des uns et des autres pour établir leurs propres résultats. En 2007, il y a eu plus de variabilité entre sondeurs. Durand en conclut que les sondeurs ont donc changé de méthode par rapport à 2002 : ils ne se copient plus !
Durand montre ensuite des données particulièrement intéressantes : la part des sondés entre les deux tours ayant déclaré avoir voté Le Pen au premier tour. Où l’on voit qu’entre le premier et le second tour, seuls 3 à 7 % des sondés déclarent avoir voté Le Pen au premier tour. Compte-tenu du score réel de premier tour de Le Pen (11% ) Durand en conclut que :
- soit les sondés mentent
- soit les sondeurs ont de mauvais échantillons.
Le vote Le Pen reste une épine dans le pied des sondeurs incapables de l’estimer correctement. Comme les électeurs du FN sont forcément méchants, les sondeurs nous servent régulièrement l’excuse du mensonge des fourbes sondés, garantissant que leurs échantillons et quotas sont parfaits. Il y a clairement là un problème méthodologique général, que les sondeurs n’ont pas plus résolu en 2007 qu’en 2002.
La commission des sondages
Durand revient ensuite sur le rôle de la commission des sondages, spécificité française. Rappelons que la commission des sondages doit contrôler les méthodes des sondeurs, et peut, le cas échéant, adresser des remontrances. En particulier, CSA s’était fait taper sur les doigts durant la campagne, ce qui ne l’a pas empêché de prédire que Le Pen monterait à 16.5 % et passerait devant Bayrou au premier tour deux jours avant celui-ci…
La commission des sondages regroupe et tient à la disposition du public les informations méthodologiques sur les sondages fournies par les sondeurs. Rassurons-les : il semble que leurs secrets soient bien gardés, malgré la loi. En 2002, la commission des sondages avait interdit à Durand de faire des photocopies des documents normalement consultables par le public (elle avait dû tout recopier à la main sur la place). En 2007, il y a plus de transparence et les photocopies étaient autorisées, mais :
- les sondeurs ne donnaient pas les questions exactes posées dans les sondages,
- la taille des échantillons interrogés était imprécise,
- il y avait un “gentlemen agreement” entre la commission et les sondeurs pour ne pas fournir les données brutes au public
Ah, ça sent si bon la France !
Conclusion
Points positifs :
- les sondeurs ont changé leurs méthode et ne se copient plus les uns les autres,
- la commission des sondages a joué un rôle plus actif en achetant des photocopieurs pour les citoyens et chercheurs intéressés et en rouspétant contre CSA.
Points négatifs :
- les sondeurs ont des pratiques que Claire Durand qualifie de “quite unscientific” (sic), ce qui aboutit notamment au fait que les courbes des sondages sont lissées (propriété qui montre sans ambiguité que les sondages sont partiellement bidonnés).
- la culture du secret empêche une évaluation scientifique des méthodes des sondeurs, et donc leur amélioration.
Petite note dérisoire pour finir : cette culture très française du secret sur les méthodes de sondages et d’évaluation a fait école sur la blogosphère (suivez mon regard, je ne comprendrai jamais pourquoi le c@fé des sciences n’est pas premier 
)
Référence :
The Polls of the 2007 French Presidential Campaign: Were Lessons Learned from the 2002 Catastrophe?, Durand C, International Journal of Public Opinion Research 2008 20(3):275-298, Version PDF
Billets similaires:
- Une victoire des sondages ? Hier sur France 3, le présentateur de la soirée électorale a félicité Roland Cayrol, de l’institut CSA, pour la pertinence de ses sondages. CSA qui anonçait il y a 4 jours que Le Pen passerait devant Bayrou… Difficile pourtant de ne pas constater que les sondages ont plutôt bien réussi à reproduire l’ordre des candidats. Etait-ce [...]...
- Précision sur les sondages Je suis un peu débordé (car hors de mes murs pour trois semaines) et je n’ai pas énormément de temps pour écrire des billets en ce moment. Le billet précédent a eu énormément de succès et a fait exploser la fréquentation du blog pendant deux-trois jours. Je compte poursuivre ma petite enquête sur les sondages, en [...]...
- Sondages et marges d’erreur Avouons-le : si nous essayons de ne pas y croire, nombreux sont ceux qui suivent avec attention les sondages. Les uns sont grisés quand un candidat atteint des sommets, les autres vont nous sortir la fameuse marge d’erreur pour essayer de discuter les sondages. Tiens tiens, une marge d’erreur… Mais bien sûr, mon sang de [...]...
- Leçons canadiennes sur les sondages gaulois Plusieurs médias ont récemment tenté de discuter et de décrypter les méthodes derrière les sondages (notamment Arrêt sur Images, le 7/9.30 de France Inter…). Un aspect assez fascinant dans ces émissions est qu’en général, les animateurs invitent d’un côté des membres des instituts, des spécialistes de politiques et des médias, ceux ci étant “opposés” à [...]...
- Arithmétique électorale : traces de bidouillage dans les sondages ? Un petit billet sur un truc étrange dans l’enquête IFOP du soir du premier tour, qu’on peut trouver ici. Je ne sais pas si quelqu’un l’a déjà remarqué, mais cette enquête sent un peu le bidouillage, en particulier lorsqu’on la compare aux autres enquêtes parues depuis, en particulier TNS-Sofres, CSA, voire même le baromètre IPSOS-Dell. Livrons-nous [...]...
