Comments on: Sondages et marges d’erreur

By: tomroud.com » Blog Archive » Marge d’erreur et réchauffement climatique

Fri, 02 Nov 2007 03:36:25 +0000

[...] disent que le réchauffement climatique sera compris entre 2 et 4.5 degrés, en realité, comme pour les sondages, ils veulent dire que la variation de température qu’on observera a 90% de chances de [...]

By: tomroud.com » Blog Archive » Vous êtes un cerveau de Boltzmann

tomroud.com » Blog Archive » Vous êtes un cerveau de Boltzmann — Tue, 28 Aug 2007 02:53:17 +0000

[...] statistiques sur les sondages auraient dû donner parfois Ségolène Royal vainqueur, comme montré dans ce billet). Si l’entropie est sujette à des fluctuations, cela signifie donc que très ponctuellement [...]

By: Tom Roud

Tom Roud — Thu, 08 Mar 2007 01:11:00 +0000

@simlaba :
Merci pour votre commentaire. En fait, la méthode que vous proposez doit effectivement ressembler à ce que font les instituts de sondage (à partir des élections). Maintenant, comme toute l’information intéressante se situe justement dans ces fluctuations de l’opinion…

A part ça, je continuerai probablement à parler de sondages de temps en temps, mais vous l’aurez compris, ce n’est pas le thème principal de ce blog

By: Simlaba

Simlaba — Tue, 06 Mar 2007 20:42:00 +0000

Je vous remercie pour cet article qui répond exactement à une question que je me posais.

Publierai-vous vos résultats de vos autres essais sur ce blog?

Juste une petit témoignage en ce qui concerne les sondages sur internet: je me suis engagé dans la campagne politique pour un candidat. Je reçois des propositions de participation à des "votes" sur internet par l'équipe de campagne. Ainsi, je pense que les résultats de ces sondages sont surtout le reflet de la capacité de chacun des candidats à mobiliser ses militants sur internet à un moment donné.

Une question d'une naïveté absolue d'un débutant en statistiques: n'est-il pas possible de réaliser, sur une trés grande population, une série de sondage à un moment donné (après chaque élection, par exemple, ou en début de campagne), sur lesquels la marge d'erreur serait limitée, assortis d'un échantillonage par populations types. Cette série permettrait d'avoir un sondage-étalon, à marge d'erreur relativement faible, puisque fait sur une grande population. Si un sondage (sur une population faible et donc à marge d'erreur importante) s'éloigne beaucoup de ce sondage étalon (le résultat+la marge d'erreur n'intersectant pas le sondage étalon+sa marge d'erreur), il permet de conclure une évolution de cet étalon.

Ce n'est bien sûr qu'une idée. Ceci irait dans le sens d'un sondage vu comme l'étude de variations de tendances de populations, et non comme l'expression d'une population à un instant donné.

Encore merci pour ce billet passionnant.

By: Dedalus

Dedalus — Mon, 05 Mar 2007 22:11:00 +0000

merci pour tous ces échanges bien intéressants pour moi qui cherche à solidifier mes argumentaires dans l'opération que j'ai lancée : "Les sondages nous mentent - Nous mentons aux sondeurs" : c'est sur tousmenteurs.fr

ma conviction est effectivement qu'il y a un problème non seulement de marge d'erreurs, mais aussi dans la méthode de redressements des données brutes recueillies par les instituts de sondages, méthodes qui restent couvertes par un étrange secret de fabrication et redressements qui s'appuient nécessairement sur un passé qui suppose des comportements statiques aux sondés - ce qui n'est évidemment pas le cas.

bref, je vous invite à participer à cette opération (et au petit sondage des menteurs auquel il s'adosse) afin de mettre un peu la pression sur des instituts de sondages qui perturbent le jeu démocratiques plutôt que de l'enrichir - dans l'idéal, le sondage est un outil d'aide à la décision pour l'électeur dans le jeu électoral (les sondages sont la seule information dont l'électeur dispose sur les comportements des autres électeurs, et chacun d'entre eux est fondé à s'en servir : mais si l'outil est pris pour ce qu'il n'est pas, pis s'il est faussé, la décision de vote se fondant sur une information erronée, le résultat de la décision collective s'en trouve perturbé... avec le résultat que l'on sait en 2002 !)

By: Tom Roud

Tom Roud — Sun, 04 Mar 2007 15:22:00 +0000

Hello Christophe,
Efectivement, je suis à peu près sûr qu’ils font comme cela. D’ailleurs, la nouvelle invention d’Ipsos (le sondage jour après jour) va bien dans cette tendance (ils utilisent le sondage n-3,n-2,n-1 pour calculer le sondage au temps n).
En revanche, je n’ai pas regardé ce que cela faisait quand le score évolue (à mon avis, cela doit rendre les courbes plus lisses, mais multplier les “décrochages”, un peu comme le mouvement de la corde de violon frottée par l’archer). C’est une bonne idée, je vais regarder ce que cela fait dès que j’ai le temps.
Sinon, ipsos est encore une fois très limite sur ce coup-là : l’institut reconnaît une marge erreur de 3 à 4 points, mais donne le résulta à 0.5 % près. Comme si le fait de regarder jour par jour augmentait la précision du sondage ! On frôle la malhonnêteté intellectuelle.

By: christophe

christophe — Sun, 04 Mar 2007 09:54:00 +0000

salut Roud,

une remarque de physicien : Qu’est-ce qui empeche les instituts de faire des mesures qui sont aussi correlees dans le temps (c’est-a-dire en utilisant des anciens sondages) ? Est-ce que tu as etudie si cette correlation permet de reduire l’ecart type tout en indiquant une tendance (machin monte ou machin descent) ?

By: Anonymous

Anonymous — Sun, 25 Feb 2007 17:32:00 +0000

Sur la méthode des quotas et sa marge d’erreur, le mieux c’est de demander aux sondeurs:

http://www.ipsos.fr/CanalIpsos/cnl_static_content.asp?rubId=35#02
L’inconvénient majeur de la méthode des quotas est de ne pas permettre de calculer scientifiquement la marge d’erreur du sondage. Les lois statistiques qui permettent de la déterminer ne valent théoriquement que pour les sondages aléatoires. En pratique, on considère cependant que la marge d’erreur des sondages par quotas est égale ou inférieure à celle des sondages aléatoires.

En pratique ce n’est pas un argument très scientifique.

By: filaplomb

filaplomb — Sat, 24 Feb 2007 23:46:00 +0000

Sans même aborder le risible cas des compensations à la louche sur le Front National.
En clair, ils sont incapable même de mesurer l’opinion ! )

By: Tom Roud

Tom Roud — Mon, 19 Feb 2007 19:01:00 +0000

Desole de tarder a repondre, j’ai aquelques difficultes avec internet.
Je vais donc essayer d’etre concis :
@ Benjamin : attention – je ne considere pas que les sondages sont tous truques. Je dis simplement que la comparaison des resultats entre sondages n’est pas compatible avec la marge d’erreur intrinseque au procede derriere les sondages. Donc que certains resultats sont “arranges” ( ou plus exactement je pense que les sondeurs s’echangent par exemple leurs donnees pour diminuer cette fameuse marge d’erreur, donc que les sondages au temps t ne representent pas l’opinion au temps t contrairement a ce qu’ils disent, mais l’opinion sur le dernier mois – je pense d’ailleurs que les “fameux” retournements d’opinion observes reguilerement pendant les elections ne sont qu’un artefact de ces methodes qui sont basees sur des projections). En fait, j’envisage de refaire un billet bientot sur le sujet avec des donnees plus precises, pour confirmer ou infirmer mon hypothese, mais il faut que j’extraie les donnees a la main depuis les sondages ( en fait je veux etudier l’evolution d’un sous-quota, typiquement les personnes agees ou theoriquement cela devrait etre encore plus frlagrant vu que la population est plus petite, on devrait avoir une marge de l’ordre de 10%). Je pense en fait que les sondages ne font simplement pas ce qu’ils disent : ils ne representant pas une photo instantanee, mais plus une moyenne sur les derniers jours/semaines.
Sinon, tu m’interpelles sur le mouvement anti-scientifiques :
- d’abord, il me semble qu’il y a confusion des genres entre sciences et politiques. Stephane Rozes, Laurence Parisot, ils sont docteurs en statistiques, ou sont-ils avant tout des specialistes de la politique et du management ?
- je pense aussi que les scientifiques doivent etre honnetes, surtout quand on voit comment ces sondages influencent l’opinion. Etre honnete, cela signifie reconnaitre dans les faits que la science n’est pas toute puissante. Les sondeurs eux memes reconnaissent une marge d’erreur de 3% (qui est exactement la marge d’erreur calculee avec l’approximation que je fais ici sur une population de 1000 personnes… donc ca me parait un peu fort de cafe de m’accuser implicitement de faire des modeles trop simples): or les resultats compares des sondages ne me semblent pas compatibles avec cette marge d’erreur, puisque la gaussienne que je montre dans le billet indique clairement qu’il devrait y avoir des sondages beaucoup plus tangents. Donc, si les sondages donnent le bon resultat a tous les coups, c’est que la marge d’erreur est plus petite. Qu’on m’explique comment, qu’on m’explique comment c’est compatible avec la methode des quotas, ou on m’explique successivement que soit la marge d’erreur est incalculable, soit encore plus grande. Cela ne me parait tout simplement pas possible : tu ne peux pas diminuer une marge d’erreur globale en sous echantillonnant ton ensemble de depart, c’est l’effet inverse de la loi des grand nombres. D’ou mon idee de regarder les sous quotas : en fonction du resultat, je te dirai mon sentiment definitif.

@ David : je n’ai plus le temps de detailler mais si j’ai cite la loi des grands nombres, c’est qu’elle te donne aussi une information sur la maniere dont on converge vers la gaussienne et la nature de la gaussienne limite. Le 4% que tu donnes depend justement de la taille de l’echantillon. Je te repondrai plus en detail des que j’aurai le temps…