Translate

samedi 29 août 2015

Canada & régions: Que se passe-t-il? What is going on?

Bonjour,

For English readers, a summary in English is available at the end of this message.

Un nouveau sondage Forum a étonné cette semaine en mettant le NPD nettement en avance. Ce sondage se distinguait des sondages précédents des autres firmes. C'est pourquoi j'ai préféré attendre l'arrivée d'autres sondages avant de faire de nouvelles analyses. Prière de noter que je ferai bientôt un message au sujet des méthodologies utilisées et des différences d'estimation entre ces méthodologies. Toutefois, j'ai fait une première vérification hier pour tous les sondages publiés en 2015, pour le Canada, l'Ontario et le Québec. Il y a des différences dans certains cas mais pas toujours et rarement majeures. Le seul cas majeur est celui de Nanos qui utilise une méthodologie complètement différente -- les résultats publiés sont une moyenne des quatre dernières semaines -- des autres firmes. J'ai fait des tests pour voir si les estimations graphiques que je présente seraient vraiment différentes en enlevant les sondages Nanos. Ce n'est pas le cas et je les ai donc conservées. Il est clair toutefois que ces sondages ne peuvent détecter les changements récents dans l'électorat.

À mesure que les sondages seront publiés, je rapprocherai le début de la période d'analyse. Pour le moment, il n'y a pas assez de sondages publiés pour garder seulement les sondages publiés depuis le début de la campagne. Cela serait d'autant plus  "dangereux" de faire des analyses uniquement à partir de ces sondages que plusieurs d'entre eux ont été faits dans des périodes où beaucoup de Canadiens étaient en vacances. Je commence donc les analyses présentées dans ce message le 5 mai 2015. Pourquoi? C'est la date de l'élection d'un gouvernement NPD en Alberta et donc le dernier événement clé, celui qui semble avoir changé la donne pour le NPD.

Canada

Résumons d'abord les quatre derniers sondages. Le dernier Forum (23-24 août) a mis le NPD à 40 pour cent, le dernier Angus Reid (19-24 août) à 37 pour cent, le dernier Ekos (19-25 août) à 33,6 pour cent et le dernier Ipsos (24-26 août) à 33 pour cent. Ekos et Forum utilise le téléphone automatisé (IVR), Angus Reid, un panel internet et Ipsos, une combinaison de téléphonique et de web. Forum est donc le plus élevé mais il ne se distingue pas significativement du sondage Angus Reid. Il faudra attendre pour pouvoir valider s'il s'agit d'une évolution ou d'un effet du hasard.

Par contre, pour l'estimation du vote du PLC, les estimations sont respectivement de 30, 24, 27 et 30. Dans ce cas, c'est le sondage Angus Reid qui se distingue avec 24 pour cent. Quant au PCC, il est estimé à 23, 30, 28 et 29; l'estimation de Forum est clairement en-dessous de celle des autres.

Le graphique présente l'évolution des intentions de vote depuis le début mai 2005. Il  montre une légère avance pour le NPD sur les deux autres partis, à égalité. Il faut toutefois demeurer prudent étant donné la tendance des sondages à sous-estimer le vote conservateur. Il est intéressant maintenant de regarder si les mêmes mouvements ont lieu dans toutes les régions du Canada ou si les changements proviennent de certaines régions seulement.



Les régions

L'Ontario, tous ensemble

Je présente les données pour l'Ontario en premier parce que, comme je l'ai dit dans mon dernier message, il s'agit du seul endroit où les trois partis sont à égalité en tête. Sur les quatre derniers sondages, trois mettent encore les trois partis à égalité. Seul le Forum met le NPD à 36 et le PCC à 26. C'est entre autres cette différence qui explique les résultats différents de Forum à l'échelle nationale. Le graphique montre donc plus ou moins le "beau fixe", soit les trois partis à égalité. On semble constater une légère baisse du PCC. Encore là il est trop tôt pour se prononcer et il faut être prudent puisque le PCC avait été sous-estimé de 4 points en 2011 en Ontario.



Le Québec, le NPD loin devant

Quelles que soient les firmes, il est clair que le NPD est loin devant au Québec. J'en profite pour faire une correction. Le CROP qui mettait le NPD à 47 pour cent la semaine dernière n'était pas le seul (ce que j'ai affirmé dans mon dernier message). Un sondage de Abacus Data qui se terminait la même journée que le CROP mettait également le NPD à 47 pourcent. Depuis ce temps, nous avons eu un Forum qui le mettait à 54 pour cent et un Angus qui le mettait à 49 pour cent. Le Ipsos le met à 40 pour cent et le EKOS à 44. Dans tous les cas, le NPD est loin devant. Forum se distingue en estimant le Bloc plus bas que les autres, à 14 pour cent, Ipsos en donnant plus d'intentions de vote au PLC (25%) alors que Forum et Angus ont une évaluation nettement plus basse du PCC. Au total toutefois, on a trois partis relativement à égalité en deuxième position -- avec un léger avantage au PLC -- et le NPD semble poursuivre sa montée, ce qui joue dans l'estimation des intentions de vote pour le NPD au Canada.




La Colombie Britannique, le NPD pas trop loin devant

En Colombie Britannique, les intentions de vote pour le NPD semblent relativement stables, peut-être en légère descente en faveur du PLC. Toutefois, il y a des différences importantes entre les firmes. Par exemple, Ipsos met le NPD à 31 pour cent alors que EKOS le met à 38 pour cent. Il y a aussi des différences importantes dans l'estimation du vote des deux autres partis. Le PLC est à 32 pour cent pour Forum et à 21 pour cent pour Angus Reid et l'estimation est inversée  pour le PCC. Donc, étant donné les petits échantillons, il est vraiment trop tôt pour être certain qu'il y a du mouvement entre le NPD et le PLC. Le PCC toutefois apparaît d'une stabilité "exemplaire".



L'Alberta, encore royaume du PCC

Le NPD avait effectué une remontée en Alberta mais les derniers sondages le montrent plutôt revenu à son état du début mai. Il demeure que le PCC se tient un peu en bas de 50 pour cent dans les estimations de vote en Alberta et ceci, de façon stable depuis mai 2015, et le NPD (autour de 25%) est en avance sur le PLC (20%).


Les Prairies, le PCC pas trop loin devant

Même si le PCC apparaît en avance au Manitoba et en Saskatchewan dans l'ensemble, les estimations sont relativement variables selon les sondages. Certains mettent le NPD pas très loin du PCC (Ipsos Reid) ou même en avance (Forum). Ces écarts peuvent être dûs à la petite taille des échantillons. Il demeure que si l'on tient compte de l'ensemble des sondages réalisés, le PCC serait en avance mais non dominant comme en Alberta.



Les Maritimes, toujours aux mains du PLC

Au cours des dernières semaines, tant le PLC que le NPD ont augmenté leur part des intentions de vote dans les Maritimes, et ceci aux dépens du PCC et des Verts. En ce moment, le PLC tient toujours la tête autour de 45 pour cent des intentions de vote, suivi du NPD autour de 35 pour cent.


 Conclusion

Même s'il faut faire attention aux résultats pour les petits échantillons -- hors Ontario et Québec -- il demeure que le résultat d'ensemble pour le Canada apparaît comme la résultante de la consolidation d'appuis différenciés selon les régions. La légère remontée du PLC provient essentiellement des Maritimes et, peut-être, de la Colombie-Britannique.  La stabilité du NPD dans l'ensemble provient d'une hausse au Québec et dans les Maritimes et peut-être en Ontario, "compensée" par une possible baisse en Colombie-Britannique et en Alberta. Bref, on a un peu l'impression qu'en ce moment, les partis consolident leurs intentions de vote là où ils sont déjà forts. L'Ontario demeure donc le terrain à surveiller. Il faudra également voir si les mouvements apparents en Colombie-Britannique et dans les Maritimes se poursuivent et s'il y a éventuellement du mouvement dans les Prairies. Pour le moment, il peut s'agir de hasard dû à la taille des échantillons.

P.S. Luis Pena Ibarra est responsable de l'entrée des données et de la production des graphiques.

English Summary

A number of people were surprised by the last Forum polls. I did a few checks to see whether there were major differences between methodologies and between some pollsters (Forum and Nanos) and the others. I checked Forum because of questions regarding its last poll and Nanos because it publishes moving averages for the last four weeks. Although I found some differences for some estimates, they were generally not substantial and withdrawing Nanos from the analyses did not substantially change the estimates. Therefore, I kept all the polls. The analyses presented start on May 5, when the NDP won the Alberta election. I try to bring the period for my analyses as close as possible to the beginning of the campaign but I need to have enough polls to do the analyses.

The analyses show that, for Canada as a whole, the NDP is making gains and that these gains are mostly due to Quebec and the Maritimes. Voting intentions for the CPC are going down a little and this is due to Quebec, again, and to Ontario. Finally, the LPC seems to be making some gains at the expense of the CPC, mostly due to its good performance in the Maritimes and, possibly in BC. Overall, parties seem to be consolidating their strongholds. Therefore, Ontario is still THE place to check. However, movement may be under way in the Maritimes and in BC. These regions should be under "surveillance" for now.

mercredi 26 août 2015

Les sondages influencent-ils le vote? Article dans La Presse +


Voici le lien à l'article publié aujourd'hui dans La Presse Plus, section  Débats.

http://plus.lapresse.ca/screens/b4f0cb0d-3de6-410e-9a18-ae8b84f1c34d|_0.html

Au plaisir

vendredi 21 août 2015

Canada & regions: depuis janvier 2015/since January 2015

Bonjour,

Note to english readers: an english summary is presented at the end of this post.

Je poursuis l'analyse des sondages publiés, cette fois-ci en me concentrant sur ceux qui ont été réalisés depuis janvier 2015. Ces analyses permettent de "mettre la table" pour la suite des choses, soit l'évolution plus récente des sondages et celle qui se produira -- ou non -- durant le reste de la campagne. Je présente les analyses pour le Canada dans l'ensemble puis les analyses par région. Notez que les projections des analyses sont basées sur l'ensemble des sondages réalisés en 2015, ce qui peut "atténuer" les mouvements plus récents étant donné leur poids modeste sur l'ensemble des données recueillies.

Canada 2015

En janvier 2015, le PLC et le PCC étaient à égalité autour de 35 pourcent et le NPD à environ 20 pourcent -- 24 pourcent dans certains sondages. La remontée du NPD et la baisse des deux autres partis était déjà en cours lorsque le NPD a pris le pouvoir en Alberta début mai 2015. La remontée du NPD s'est poursuivie tout comme la baisse des intentions de vote pour les deux autres partis majeurs. Toutefois, la situation semble pratiquement stable depuis le début de l'été. Les analyses montrent que les trois partis seraient presque à égalité en ce moment, avec peut-être un léger avantage au NPD. Il faut souligner que les sondages ont eu tendance à sous-estimer l'appui au Parti Conservateur, du moins en 2011. Si cette même tendance persiste, il est prématuré de conclure que le NPD a pris de l'avance. La suite des choses nous dira si c'est vraiment le cas.

Seuls deux sondages récents donnent des lectures différentes, un Forum (IVR) du 2 août qui donne le NPD à 39 pourcent et un Mainstreet (IVR) du 20-21 juillet qui donne le PCC à 38 pourcent. Ces deux sondages donnent des résultats différents des autres sondages faits au même moment. Et ce sont vraiment des sondages "d'été", c'est-à-dire réalisés en période concentrée de vacances annuelles.






Canada -  les régions -- 2015

Le Québec


L'année 2015 avait commencé au Québec aussi avec deux partis à égalité mais il s'agissait du PLC et du NPD. Comme on a pu le voir pour l'ensemble du Canada, le NPD a effectué également au Québec une remontée qui le situe maintenant autour de 40 pourcent, près de son score de 2011 (43%). Cette remontée s'est effectuée presque uniquement aux dépens du PLC. Les intentions de vote pour le PCC et pour le Bloc ont été estimées de façon assez variable au cours des derniers mois, ce qui s'explique en partie par la faible taille des échantillons pour le Québec dans la plupart des sondages pan-canadiens. En ce moment, les trois "autres" partis -- PCC, BQ et PLC -- apparaissent pratiquement à égalité, avec un léger avantage au PLC. Tous les sondages depuis juin placent le NPD en avance et en remontée au Québec. Le CROP publié le 20 août apparaît toutefois exceptionnel -- NPD à 47 pourcent -- par rapport aux autres sondages. L'avenir dira s'il s'agit d'un sondage hors normes ou s'il s'agit de la mesure d'une tendance en cours.




L'Ontario

Les résultats montrent les trois principaux partis pratiquement à égalité en Ontario. On note toutefois de la variabilité dans l'estimation des intentions de vote pour le NPD et pour le PCC. Certains sondages ont mis le PCC en haut de 40 pourcent. Il s'agit du sondage de Mainstreet réalisé les 20 et 21 juilllet par IVR et d'un sondage Nanos dont l'échantillon a été collecté sur quatre semaines. Si ce n'était de ces deux sondages, les analyses montreraient les trois partis à égalité. À noter toutefois que le Parti conservateur avait été sous-estimé de quatre points en 2011 en Ontario.




Les Maritimes

La tendance notée pour l'ensemble du Canada est aussi présente dans les Maritimes où le NPD a effectué une remontée importante qui l'amène à sept ou huit points du PLC. Dans cette région, la remontée du NPD s'est d'abord faite uniquement aux dépens du PLC puis, plus récemment, presqu'uniquement aux dépens du PCC et du Parti Vert. Les intentions de vote pour le PLC semblent s'être stabilisées un peu en haut de 40 pourcent mais la tendance à la remontée du NPD s'est accélérée un peu depuis le printemps. Étant donné que les échantillons pour les Maritimes sont parfois très petits, il faut demeurer prudent dans les interprétations de la situation.





Les Prairies - Manitoba et Saskatchewan

Même s'il y a eu une remontée du NPD également dans les Prairies, cette remontée semble s'être arrêtée depuis la mi-juillet. De fait, les intentions de vote pour les trois principaux partis apparaissent stables avec une certaine avance au PCC à environ 40 pourcent, le NPD et le PLC se situant à égalité un peu sous la barre des 30 pourcent. On note un sondage hors norme, le Forum du 21 juillet qui met le PLC à 53 pourcent mais avec un échantillon minuscule de 49 répondants. Plusieurs sondages ont toutefois mis le NPD à égalité ou même en avance sur le PCC au cours des dernières semaines. Il s'agit d'une évolution "à suivre". Pour le moment, les estimations des sondages sont assez variables étant donné les petits échantillons.




L'Alberta

Malgré la victoire du NPD aux élections provinciales en Alberta, concurrente à une forte hausse des intentions de vote pour le NPD fédéral (passé de 10 pourcent des intentions de vote en janvier à 30 pourcent en ce moment), le PCC continue à dominer avec des intentions de vote autour de 50 pourcent. Les gains du NPD se sont d'abord faits aux dépens du PCC mais, depuis le printemps, c'est essentiellement le PLC qui en a fait les frais. À noter que tous les sondages donnent sensiblement la même lecture, soit le PCC loin devant.




La Colombie-Britannique

De janvier à avril, les sondages montraient les trois principaux partis entre 20 pourcent et 40 pourcent sans qu'un parti se détache sérieusement. Depuis l'élection du NPD en Alberta, le NPD s'est clairement détaché et a pris la tête. Tous les sondages donnent une lecture similaire, avec le NPD autour de 40 pourcent alors que le PLC et le PCC sont à égalité autour de 25 pourcent et le parti Vert autour de 10 pourcent. Un seul sondage met le NPD à 54 pourcent, soit le Forum du 23 juin avec un échantillon de 150 répondants.





Conclusion

En résumé, dans l'ensemble du Canada, les trois partis sont pratiquement à égalité en début de campagne et les intentions de vote presque stables à l'ouest du Québec. Par contre, dans les Maritimes et au Québec, la remontée du NPD semble se poursuivre. L'évolution des intentions de vote depuis janvier montre
  1. Que le NPD a fait des gains dans toutes les régions. 
  2. Que même si ces gains se sont surtout faits aux dépens du PLC, ils se sont également faits aux dépens des conservateurs dans plusieurs régions. Ceci ne signifie pas nécessairement que des électeurs seraient passés du PCC au NPD. Certains électeurs peuvent être passés du PCC au PLC et d'autres du PLC au NPD, ce qui fait que le mouvement total montre une baisse du PCC et une hausse du NPD.
  3. Que le NPD est en tête au Québec et en Colombie- Britannique et à égalité en Ontario.
  4. Alors que le PCC est en tête dans les trois provinces des Praires...et à égalité en Ontario
  5. Et le PLC est en tête dans les Maritimes... et à égalité en Ontario.
S'il  n'y a pas beaucoup de variation dans les intentions de vote, l'Ontario sera le centre de l'attention!

English summary

The analyses performed for the different regions and for Canada as a whole show that the portrait given by the different pollsters is quite the same in the different regions. When they do differ, there is a tendency for some IVR polls to be among outliers, particularly when they were conducted in the period where many Canadians are on Holidays. We need to analyze the polls in the light of what happened in previous electoral campaigns and particularly the 2011 federal campaign. In that election, there has been a tendency of polls to underestimate the vote for the CPC in general by three to four points, and, particularly in Ontario.

In Canada as a whole, voting intentions for the three main parties are almost at par. West of Quebec, voting intentions are rather stable while, in the Maritimes and in Quebec, the progression of the NDP goes on. Changes that occurred since January show that:
  1. Voting intentions for the NDP increased in all the regions of Canada.
  2. That NDP's gains were mostly detrimental to the LPC at the beginning but that they were also made at the expense of the CPC in many regions. It does not mean that some voters went directly from the CPC to the NDP. It may mean that some go from  the CPC to the LPC and others from the LPC to the NDP.
  3. That the NDP is ahead in Quebec and in BC and at par in Ontario.
  4. While the CPC is ahead in the Prairies... and at par in Ontario
  5. And the LPC is ahead in the Atlantic Provinces... and at par in Ontario.
If there is not much variation in voting intentions, Ontario will certainly be the focus of attention.

Note: L'agent de recherche qui entre les données et produit les analyses est Luis Pena Ibarra.

mardi 18 août 2015

Canada 2011-2015, que s'est-il passé? What happened?

Bonjour,

Note to english readers: an english summary is presented at the end of this post.

Voici mon premier message de cette campagne. Il porte sur l'évolution des intentions de vote entre 2011 et 2015, ceci pour le Canada dans l'ensemble et pour chacune des régions à l'exception des Prairies. Les analyses subséquentes (à partir de 2015 porteront sur toutes les régions). Je note au départ que plusieurs chercheurs académiques et extra-académiques s'intéressent à l'évolution des intentions de vote mais tous n'ont pas les mêmes préoccupations. Dans mon cas, je ne m'intéresse pas à la "transcription" des intentions de vote en sièges et je ne fais pas de prospective à moyen ou long terme. Ma préoccupation tout au long de la campagne sera 1) d'estimer l'évolution des intentions de vote et 2) d'estimer jusqu'à quel point on peut se fier aux sondages et jusqu'à quel point ils peuvent être biaisés en faveur ou en défaveur d'un parti en me basant sur des analyses statistiques des sondages et sur les résultats des sondages des campagnes antérieures.

Les données utilisées pour la période 2011-juin 2015 m'ont été transmises par Eric Grenier du site 308dot.com. J'en profite pour le remercier de sa collaboration.

Canada 2011-2015

Comme on peut le voir dans le graphique suivant, l'évolution tracée par l'ensemble des sondages depuis l'élection de 2011 à l'échelle du Canada est celles d'une progression du PLC au détriment tant des conservateurs que du NPD entre 2011 et 2014 suivie d'une descente qui a profité surtout au NPD. Les tendances à long terme permettent difficilement de voir l'effet des événements à court terme. Toutefois, si on fait le focus autour des deux premières lignes verticales, représentant respectivement l'élection de Thomas Mulcair à la tête du NPD et celle de Justin Trudeau à  la tête du PLC, on note dans les deux cas une concentration de points (estimés de sondages) plus bas avant l'élection et plus élevée après. Dans les deux cas, l'élection a provoqué une hausse -- momentanée -- des intentions de vote pour le parti du nouveau chef. Le prochain message de blogue permettra de se concentrer plus précisément sur ce qui s'est passé au cours de la dernière année mais il est clair que seul le NPD a vu ses intentions de vote progresser au cours des derniers mois pour ce qui est de l'ensemble du Canada.


Canada 2011-2015: les régions

La question qui se pose est de savoir si l'évolution constatée pour le Canada dans son ensemble cache des évolutions différenciées dans les diverses régions ou si l'évolution est la même dans toutes les régions.

Le premier graphique montre l'évolution des intentions de vote au Québec. La force relative des partis est assez différente du reste du Canada mais comme on peut le constater, l'évolution est sensiblement la même. Le PLC avait effectué une remontée importante, au détriment de tous les autres partis jusqu'en 2014 environ. Cette remontée est antérieure à l'élection de Justin Trudeau à la tête du parti. C'est au même moment que les attentats terroristes de l'automne 2014 que l'on voit les appuis à ce parti s'effriter au Québec. C'est surtout le NPD qui en profite, et dans une moindre mesure le PCC. L'analyse des sondages de 2015 permettra d'analyser la situation de façon plus détaillée. Pour ce qui est du Bloc Québécois, comme l'évolution possible des intentions de vote pour ce parti serait récente, j'y reviendrai dans mon message traitant des intentions de vote depuis janvier 2015.


Le deuxième graphique porte sur l'évolution des intentions de vote en Ontario. La force relative des partis est très différente de celle constatée au Québec. Le PLC y a effectué une remontée tant aux dépens du NPD que du PCC jusqu'à tout récemment. On y constate une remontée très importante du NPD au cours des dernier mois, qui amènent les trois partis pratiquement à égalité.



Il est difficile d'estimer l'évolution des intentions de vote dans les provinces atlantiques en utilisant les sondages publiés un à un étant donné la très faible taille des échantillons pour cette région. Par contre, en utilisant l'ensemble des sondages, on obtient un portrait plus fiable même si on peut constater la grande variabilité des estimations des sondages. Même si on constate dans les Maritimes une évolution très similaire à celle des autres régions, il s'agit de la seule région où le PLC a été en avance pendant presque toute la période et l'est demeuré jusqu'à maintenant. On constate toutefois comme ailleurs une remontée récente -- et importante -- du NPD mais il demeure que le NPD et le PCC sont demeurés à égalité jusqu'à tout récemment.


Finalement, la Colombie Britannique constitue la dernière région pour laquelle nous avons des données pour l'ensemble de la période. La baisse des intentions de vote pour le NPD et pour le PCC jusqu'en 2014 couplée à la hausse des intentions de vote pour le PLC ont amené les trois partis à égalité en 2014. On note toutefois une remontée importante du NPD récemment, remontée dont je reparlerai dans le prochain blogue portant sur la période récente.



Conclusion
La période qui s'est écoulée depuis la dernière élection est caractérisée par la remontée du PLC jusqu'en 2014 aux dépens des autres partis. Toutefois, cette remontée s'est essoufflée au cours des derniers mois et c'est plutôt à une remontée du NPD que l'on assiste en ce moment. Il est intéressant de constater que malgré des niveaux d'appui aux différents partis variables selon les régions, les graphiques montrent que les mêmes évolutions se sont produites dans toutes les régions de manière très similaire.

Au plaisir

English summary: The graphs show change in voting intentions since the Canada 2011 election. The tendency is the same in all regions of Canada, although the level of support for the different parties is not similar. It is characterized by an increase in voting intentions for the Liberal Party of Canada (LPC) until almost the end of 2014 and a concurrent decrease in voting intentions for the other parties. However, since the beginning of 2015, the situation has changed. My next post will focus on this period.

P.S. L'information sur les méthodes utilisées pour estimer l'évolution de l'intention de vote est disponible sur demande.

vendredi 19 septembre 2014

Scotland the day after: how did the polls fare?

Hi,

Here is the graph that I published in my previous message on Wednesday afternoon. It shows the likely result when I attribute 67% of non-disclosers to the No side. The results of the vote (55.3% No, 44.7% Yes) tell us that the No vote is underestimated by almost two points, even with this non-proportional attribution. Two polls were published on Election Day: YouGov put the No at 54% and Ipsos-Mori at 53% (this poll was conducted before Election Day however). This may mean that there was some last minute movement. I checked whether my estimate would have been much different if I had given 75% of non-disclosers to the No side. It does not change enough in the prediction to warrant publication.




Were opt-in panel polls responsible for the underestimation of the No side? If I keep only the polls published since the beginning of August, opt-in panels do not differ at all on average from polls conducted using other methods (telephone and face-to-face) in their prediction of the final results. They do differ in the average proportion of non-disclosers: more than five points less on average than other polls. Finally, it is interesting to notice that Survation and ICM  who used to conduct opt-in panel polls both conducted a telephone poll at the end of the campaign. ICM conducted its telephone poll at about the same time (Sept 9-11) as an opt-in panel poll. The telephone poll gave 40% Yes, 42% No and 17% non-disclosers (49% Yes - 51% No after proportional allocation of non-disclosers) while the opt-in panel gave 49% Yes, 42% No and 9% non-disclosers (54% Yes, 46% No). The telephone poll is clearly better. However, we cannot base our evaluation of opt-in panels on only one case.

Conclusion

As with the Quebec 1995 referendum, the polls underestimated the No vote and this, even when we allocate two-thirds of non-disclosers to the No side. This seems like a systematic bias that we will have to take into account in future referendum votes. However, the opt-in panels did not fare better nor worse than other polls at the end of the campaign.

mercredi 17 septembre 2014

Scotland Independence: update with the last polls

Hi,

Tomorrow is voting day. I include in my analysis all the polls published yesterday and today -- before 2 PM Montreal time (I do not have the YouGov and the TNS yet, I may update later on if I have time).

Let us examine what the polls tell us of the likely portrait of support for Scottish independence.  First, a graph including the non-disclosers, i.e., don't knows and those who say they will not vote.The graph  shows that the two sides are still close to each other but with the No side still ahead. In addition, the proportion of non-disclosers has stopped declining.


Now, if we use the pollsters' attribution of non-diclosers, i.e., proportional attribution, here is what we get. Voting intentions seem to have frozen. They have been quite stable for the last two weeks, with about five points difference in favor of the No side.

  
 

If I perform a non-proportional attribution of non-disclosers, giving 67% of them to the No side, which, according to many political scientists is realistic, I get the following graph. The analysis estimates the difference between Yes and No at more than seven points.



Finally, the following graph is quite interesting. I focus on the difference between support for independence overall and support among young people aged 16-34 years old. As you can see, we could attribute part of the increase in support for the Yes side to young people in recent weeks but polls show that this age group seems to have backed off during the last few days.



Conclusion

If polls are not incredibly wrong, my analysis shows that the No side is likely to win with a good margin. If I am wrong, it will be the pollsters' fault :). And political scientists and survey methodologists will have to revise all what they said in the last 30 years.

lundi 15 septembre 2014

Yes Scotland: Ceiling reached?

Hi,

Now, here is the situation, when the polls conducted during the week-end are included. It is interesting to notice that two pollsters -- Survation and ICM -- that used to do only opt-in panel polls conducted telephone polls. The situation right now is that the two sides are close to one another, which explains why we get contradictory estimates from different pollsters. This is quite normal in such circumstances. The graph shows that the Yes side has gained some points and the No side together with the non-disclosers have lost some.The No side is still ahead (barely) but it seems to have lost two points since the beginning of August, while the Yes side has gained close to five points.


Now, if we attribute the non-disclosers proportionally to each side, we get the following graph. It shows that the increase in support for the Yes side seems to have stalled. Support for Yes Scotland is around 48% and support for Better Together at 52%.



If we use a more realistic attribution of non-disclosers' voting intentions, giving 67% of those to the No side, support for the Yes side is closer to 46.5%. The difference between the two sides is estimated at around seven points. The preceding graph and the next one both show rather clearly that support for the Yes side has stopped increasing last week. Voting intentions seem to have stabilized.



A last graph shows the part played by younger people -- 16 to 34 years old -- in the increase in support for the Yes side. Young people's support for the Yes side, already higher than in the rest of the population, has also increased more than that of older Scottish residents. This situation is very similar to what has been observed in the 1995 Quebec referendum. Support for Yes Scotland among young people is around 55% according to the polls.



In conclusion: Are the polls reliable?

The Yes side has gained an average of 1.15 points per week since the beginning of August. Even if it would take another 1.15 points during the last week, it is not sufficient to win. But are the polls reliable? First, let us notice that the difference in estimation between opt-in panel polls and other polls has disappeared. Since August at least, there is no significant difference anymore between web polls and other polls. However, as in Quebec in 1995, the polls may overestimate the Yes side. Why is that? First, it seems that Yes supporters are more likely to answer surveys and to reveal their vote and second, as the Yes becomes more likely to win, some people may back off and finally decide not to "take the risk". As I said before, saying that you will vote Yes to a pollster has much less consequences than doing it for real. A very good analysis of the possible vote of non-disclosers -- by Stephen Fisher -- can be found here. Therefore, I still think that all possible errors of the polls would result in an overestimation of the Yes side.