Translate

jeudi 31 mars 2011

Évolution janvier à mars

Bonjour,

Nous avons fait les premières analyses de l'évolution des intentions de vote à partir de tous les sondages publiés depuis le 1 er janvier 2011. Voici les résultats:

1) Canada total:

- Très légère hausse pour le PC (,04 point par jour) et pour le NPD (,03 point par jour) associée à une très légère tendance à la baisse pour les Verts (-,04 point par jour).
- Ces estimations mettent le PC à 38,5%, le PLC à 26,6%, le NPD à 17,9%, le BQ à 9,8% et les Verts à 6,8%
- Différence significative entre les sondages Internet et les autres: au total, les sondages Internet ont évalué le PLC en moyenne 2,3 points plus bas que les autres sondages et le NPD, 2,08 points plus haut.


2) Ontario:
- Légère hausse de l'intention de vote pour le PC (,077 point par jour) ce qui donne quand même près de 7 points sur l'ensemble de la période. Baisse concurrente des Verts (,058 par jour). Aucune évolution significative pour les autres partis.
- Ces estimations mettent le PC à 42,9%,  le PLC à 32,4%, le NPD à 17,3% et les Verts à 6,7%.
- Aucune différence entre les sondages Internet et les autres.




3) Québec:
- Légère hausse de l'intention de vote pour le PC (,047 points par jour). Aucune évolution significative pour les autres partis.
- Ces estimations mettent le Bloc à 38,8%, le PC et le PLC à égalité (respectivement 20,3% et 19,5%), le NPD à 15,7% et les Verts à 5,5%.
- Les sondages Internet se distinguent en plaçant le NPD 3,95 points plus haut que les autres sondages, en moyenne, après contrôle pour l'évolution. En fait, si on contrôle pour l'effet des sondages Internet, l'intention de vote pour le NPD est en hausse. Si on n'en tient pas compte, elle est stable.



- Il faut souligner les écarts importants dans l'estimation de l'intention de vote pour le parti Libéral du Québec, particulièrement au cours de la dernière semaine (voir graphique). 



Rectification: Suite à mon précédent blogue, Jaideep Mukerji de Angus Reid m'a informé que la firme effectue une pondération en fonction de la langue d'usage au Québec. Cette information était omise de la notice méthodologique mais elle devrait apparaître à l'avenir.


Au plaisir
Claire Durand

dimanche 27 mars 2011

Sondages internet, marges d'erreur et fermiers manitobains

Bonjour,
La campagne est lancée et déjà quelques sondages "quick and dirty", comme disaient les sondeurs à l'époque, sont publiés. Aperçu des méthodologies:

La Presse du samedi 26 mars en page A9 : "Méthodologie: Opinion publique Angus Reid a mené un sondage en ligne auprès d'un échantillon représentatif de 2365 adultes canadiens, choisis au hasard, inscrits au Forum Angus Reid. La marge d'erreur qui mesure la variation de l'échantillonnage est de +/- 2 points de pourcentage. Les résultats ont été statistiquement pondérés conformément aux plus récentes données du recensement sur la scolarité, l'âge le sexe et la région de façon à assurer un échantillonnage représentatif de la population adulte du Canada.
Marge d'erreur : CB: 507 répondants, +/- 4,35%, Ontario: 823 répondants: +/- 3,42%, Québec 793 répondants: +/- 3,48%

Même journal, page A10: (sondage CROP)  "Ce sondage a été réalisé au moyen d'un panel Web. Étant donné le caractère non probabiliste de l'échantillon, le calcul de la marge d'erreur ne s'applique pas".

Le Devoir, même samedi, : p. A12. "Le sondage a été mené au Canada les 23 et 24 mars, auprès de 3539 personnes. Un échantillon probabiliste de la même taille présente une marge d'erreur de 1,7 %, 19 fois sur 20. Le sondage Internet a été réalisé selon une méthodologie fiable et éprouvée. Les données ont été pondérées selon l'âge, le sexe, la langue maternelle, le degré de scolarité et la composition du foyer.
Au Québec, le coup de sonde présente une marge d'erreur de 3,1 %, alors que 1003 personnes ont répondu. En Ontario, 1004 personnes ont été sondées, pour une marge d'erreur de 3,1 %. En Colombie-Britannique, 403 personnes ont répondu, avec une marge d'erreur de 4,9 %."

Commentaires: 
1) marge d'erreur
Qui a raison?  Crop sans contredit. :La marge d'erreur est basée sur la théorie des probabilités, en gros sur le fait que l'échantillon a été constitué au hasard. Lorsque ce n'est pas le cas, elle ne s'applique pas. L'ARIM qui regroupe le milieu des sondages au Canada "interdit" à ses membres de parler de marge d'erreur dans le cas des sondages Internet.
Que dire de l'encart du Devoir? Il est au mieux ambigü. Il dit une chose et son contraire. "Si l'échantillon était probabiliste, la marge d'erreur serait de x" suivi de "La marge d'erreur est de x dans les sous-échantillons". 

Que dire de l'encart du sondage Angus Reid? Il est carrément trompeur. Il faut peut-être le prendre à la lettre soit qu'il est "représentatif de 2365 adultes canadiens, ..., inscrits au Forum Angus Reid".

2) La pondération: On relève que Angus Reid ne pondère pas en fonction de la langue maternelle ou de la langue d'usage au Québec. Or cette information étant fortement liée au vote, c'est une pondération qui devrait être appliquée. On relève que tant Angus Reid que Léger pondèrent en fonction de la scolarité, de façon à compenser pour la trop forte présence de personnes plus scolarisées parmi les répondants. Le seul problème de cette pratique est le fait que l'on ne sait pas si la mauvaise représentation de la scolarité dans l'échantillon est due uniquement à une vraie sous-représentation ou également au fait que les répondants auraient tendance à se déclarer plus scolarisés qu'ils ne le sont.

La question demeure: S'il y avait une femme de 70 ans peu scolarisée dans le panel, représenterait-elle l'ensemble des femmes de 65 ans et plus peu scolarisées?

3) Les fermiers manitobains: Outre le fait que l'on pense que les fermiers manitobains et les pêcheurs de Nouvelle Écosse ont autre chose à faire que de s'inscrire à un panel de répondants à des sondages, il faut faire un calcul simple: Pour Angus Reid, 2365 répondants moins 507 en CB, 823 en Ontario et 793 au Québec: il reste 242 répondants pour les 7 autres provinces du Canada! Dans le cas du sondage Léger, il y en a 1129, ce qui est acceptable.

Faut-il faire confiance aux sondages Internet?
Comment répondre? Théoriquement non.
Empiriquement, lors de la dernière élection fédérale, il n'y avait pas de différence significative entre les sondages Angus Reid et les autres. Toutefois, je n'ai pas pu vérifier s'il y avait plus de variation. Lors de l'élection québécoise de 2008, Angus Reid était également à l'intérieur de la marge d'erreur. Par contre, lors de l'élection montréalaise de 2008, ils avaient prédit la victoire de Louise Harel et mis le maire en troisième place : 7 points d'écart entre le sondage et les résultats.
Le problème est que l'on ne sait pas quand et dans quelles circonstances un sondage fait auprès de volontaires peut représenter la population. Dans un prochain blog, un mot des recherches sur la question. Entretemps, on devrait peut-être parler de l'intention de vote des panelistes (plutôt que de la population?).

Au plaisir
Claire Durand