jeudi 17 juillet 2014

Scottish Independence & the Young people


The question of young people's vote is interesting sociologically and politically. We expect young people to be more favorable to the Yes side in a referendum on independence because it proposes change. Young people may be more interested in change than in status quo. They may also be more easily convinced since they have not yet made up their mind definitely on many political issues. On the other hand, young people are accustomed to live in a globalized world. We may expect them not to be that interested in national States.

So what happens? I present first the situation in Scotland and then compare it with what happened and is now happening in Quebec regarding support for sovereignty among Young people.


The following graph shows support for independence from January 2014 to the most recent polls among the whole population and among the 16 to 34 years old (purple line ). I computed a weighted average of the results by age group (age group by sex for Panelbase) presented by the different firms in order to arrive at a combined 16-34 age group*.

The graph shows that support for independence is very slightly higher among the 16-34 age group than among the general population. However, the difference is rather stable.


The following graph shows the change in support for sovereignty for the three age groups between 1979, just before the first referendum in 1980, and 2014. The analysis is restricted to French-speaking Quebeckers -- usually defined as persons who speak mostly French at home -- since non-French speaking Quebeckers were generally opposed to sovereignty whatever their age.

The graph shows that before the first referendum in 1980, support for sovereignty among the 18-34 age group (47% of the population at that time) stand out compared to support among the two other age groups. It is at 63 percent compared to 36 percent for the 35-54 age group and 22 percent for the 55+ age group. The young people who were favorable to sovereignty in 1980 were still favorable in 1995 -- they constitute most of the 35-54 age group -- and they were joined by the new young people so that both the 18-34 and the 35-54 age groups were very favorable to sovereignty, at more than 63%, while support among the 55+ age group was at 40%.

This gave rise to the "dying federalist hypothesis" which stated that, as older people die, if  young people are still be more sovereigntist than older people and stay so as they grow older, sovereignty will eventually -- mathematically -- get the support of the majority of the population. This is not what happened. As we can see, after 2010, there is no more difference in support for sovereignty according to age which means that a) young people are not more sovereignist than the elder anymore and b) people do not necessarily stay sovereignist all their life. They may change their mind at some point.

In a presentation at IRPP in 2001, I also showed that only the less than 55 years old were influenced by the campaign in 1995. Support among those who were 55 years and older remained stable.

Another way to look at support for sovereignty according to age is illustrated by the following graph. The two upper lines -- blue for the 18-34, green for the 35-54 -- show that support for sovereignty increased among all French speakers after the 1995 referendum where the Yes side was defeated 50.5% to 49.5%. It started to decline around 2002, went up a bit around the Sponsorship scandal in 2004-2005, and finally went on declining. The point is that it declined more among the younger age groups than among the 55+ age group so that, in 2014, there is no difference left between the age groups.


The situation in Scotland seems closer to the actual situation in Quebec than to the situation that prevailed in Quebec on the eve of the two referendums. Support for independence does not differ much between age groups and it changes similarly among the young people than among the general population. The hypothesis that young people do not differ much from older people in their political positions is the most plausible for now. 

* Methodological note: Sample sizes of smaller age groups -- 16-24, 25-34 -- were way too small to use the results with some confidence. These results vary enormously from one poll to the next and from one age group to the next. In addition, there were some differences in the age groups used by the different firms. I computed a weighted average of the support of the 16-24 and 25-34 age groups. For YouGov -- who uses a 25-39 age group -- I considered it to be an estimate of the support among the 25-34 age group and I applied the same weights as for the other firms. For Panelbase, who presents results for males 16-34 and females 16-34, I used a weight according to sex.

mercredi 9 juillet 2014

Scottish Independence, Quebec Sovereignty, similar or not?


First, my apologies to French-Speaking followers since I am going to write my messages on the Scottish referendum solely in English. And apologies to English speakers too: My English writing is not perfect.

The referendum campaign for Scottish independence is under way. It is the first time where it is possible to compare a political campaign with the referendum campaign pertaining to Quebec sovereignty in 1995. The Quebec referendum was held on October 31th 1995 and ended with a very close result, i.e. 50.5% No and 49.5% Yes. The turnout was around 95%. In both situations, the movement for Independence is taking place in a developed country that is part of the Commonwealth.

For this first post, I will compare the Scottish polls with the Quebec polls during similar periods and I will address the question of attribution of preferences to non disclosers, i.e. respondents who do not reveal a preference or state that they will not vote. In following posts, I will address the question of whether there are differences between polls' estimates according to the methodology used --  mode of administration, question wording, etc. -- and I will deal with the question of whether young people's preferences differ from older people's.

What is the state of public opinion? 

a) Including non disclosers

The following graph shows the evolution of support for Scottish Independence. The non-disclosers -- all those who say they don't know how they will vote or state that they and will not vote -- are  included in the graph.

It shows that although there was a possible increase in support for Independence from January to March, support seems to be going back to what it was at the beginning of the year. In addition, we see that there is much variation between the estimates from the different pollsters. The proportion of Yes is at about 35% but it varies between less than 30% and close to 43%. The proportion of No is close to 50% on average but the range of estimates is also large, i.e. 10 points. Finally, the proportion of non disclosers stays between 10% and 20% except for some specific polls where it reaches 30% or more. Those polls were generally conducted face-to-face.

If we look at a similar period in Quebec, i.e. January to June 1995 -- the referendum was to be held on October 30th -- we get a quite different portrait. Notice that since the question wording had not been decided yet at that time in Quebec, pollsters used different wordings and tested support for different options and according to different wordings. In order to have enough data as well as a relatively homogenous information, I kept the estimates for all the questions pertaining to a vote for either sovereignty per se or sovereignty with an association with the rest of Canada. Here is the portrait:

In the Quebec situation, we notice first that the Yes and No sides was closer than it is in Scotland and second, that the proportion of non-disclosers decreased in the last weeks before summer with a concurrent increase in both Yes and No support.

b) A few words about the non-disclosers

Is there a relationship between the proportion of non-disclosers in the polls and the distribution of Yes and No. The clear answer to that is that for these periods, there is absolutely no significant  relationship between the proportion of non-disclosers and the distribution of support for Yes and No in Scotland as well as in Quebec. In Quebec however,  following suggestions from researchers -- Maurice Pinard, Pierre Drouilly -- based on empirical findings, there has been a tendency to attribute more non-disclosers to the No side -- between 67% and 75% -- than to the Yes side. The rational for this practice was that the socio-demographic profile of the non-disclosers is more similar to the profile of No voters -- more likely to be older, for example -- than of Yes voters. This practice allowed for a very good estimate of the referendum results in 1995. Without it, the predictions would not have been accurate.

Should Scottish pollsters proceed to a non proportional attribution of non-disclosers? This question should be examined. In any case, it is highly possible that the No side is underestimated since when polls are not accurate, it is usually the status quo side, the more conservative side of the electorate, that is underestimated.

c) Excluding non-disclosers, with proportional attribution

If we exclude the non-disclosers, we have to decide how to attribute them between Yes and No. The common use is to do it proportionally. The hypothesis here is that the preferences of those who do not reveal a preference are similar to to the preferences of those who do reveal them. Notice however that this means that when the proportion of No is close to 60%, proportional attribution gives to the No side a proportion that is close to the non proportional distribution that was used in Quebec. In short, non proportional attribution has a more substantial effect when the distribution of Yes/No is close to 50%.

Here is the portrait of the evolution of support for Independence in Scotland with proportional attribution of non-disclosers:

 It shows the No  side between 55% and 60% with the difference between Yes and No being close to 15%, and no overlap of Yes and No, whatever the poll.

Now, let's see what was the situation in Quebec at about the same period with a similar proportional attribution of non disclosers.  The graph shows that at most, there was a 10 point gap between Yes and No around the middle of March. By May, the gap had closed and, by the end of June, the difference between Yes and No was 5 to 6 points .


In Quebec as in Scotland, the campaign started with a deficit for the Yes side. However, the deficit was clearly less substantial in Quebec than it is right now in Scotland. Campaign dynamics vary within and between countries. It will be interesting to follow the Scottish situation and examine the methodological questions that it will raise. Will opt-in panels -- more than two-thirds of the polls -- overestimate the Yes side? Will polls in general be accurate using a proportional attribution of non disclosers? How will young people vote? Will they be much more favorable to Independence like in 1995 in Quebec or will they have similar preferences as the other age groups, like the current situation in Quebec?

P.S. Methodological information for specialists: The lines -- the likely evolution -- are estimated  using weighted local regression (loess) with Epanechnikov estimation using 65% of the points for adjustment. In various trial and error with different "smoothers", it appeared the best ans most flexible compromise and it gave very good results in the last Quebec election in 2014.

vendredi 13 juin 2014

Post-Mortem Ontario: Who's right?


How did the pollsters fare in this election? There are a number of different ways to look at the situation. The first is to see whether the prediction that I made using all the polls' estimates was accurate.  Here is the graph with the election results:

 It is clear from this graph that the Liberals were globally well predicted by the polls but that, contrary to usual, the PC was overestimated and the NDP underestimated. This a rather rare situation. In the last federal election of 2011, the polls had underestimated the PC by more than 4 points in Ontario.

Who's right? 

There is a debate around methods and pollsters. Who fared better? There are known ways to deal with this. One is to calculate the difference between the results and the estimates from the polls. The relative error (results minus estimates) tells us whether a party tended to be over or underestimated by the polls. A positive result means that the party was underestimated by the polls. The absolute error infoorms on the level of the difference between the results and the estimates. The total absolute error gives the synthetic information on the global level of error. It is computed as the sum of the absolute error for the three main parties. I present the results grouped by method (IVR vs Web) for the polls conducted from June 5 in the table at the end of the message.

What the table and my analyses show is:
  • IVR polls got the Liberals right (mean error of -0.34) but they overestimated the PC by 3.6 points and underestimated the NDP by 5.1 points on average.
  • Web polls underestimated the Liberal party by 3.7 points on average and overestimated both the PC (2 points) and the NDP (2.3 points).
  • The difference between the estimates of IVR polls and Web polls is significant for the Liberals and the NDP. We are still in a situation where Web polls tend to overestimate the NDP.
  • As for the absolute difference, it is rather large -- between 2 and 5 points on average. There is no significant difference between the IVR and the WEB polls.
  • If we look at the total absolute error, it is 10.8 points on average for the IVR polls and 9.6 for the WEB polls. Again, there is no significant difference between these two averages.
A total absolute error of 10.8 is rather high. It is however lower than what has been seen in BC2013 and Alberta 2012.

In conclusion,

The surprise with this election is the global underestimation of the NDP and the overestimation of the PC. I do not see how to explain this. The only expected bias, i.e. an overestimation of the NDP vote and an underestimation of the PC vote by the WEB surveys indeed happened. The huge underestimation for the NDP vote by the IVR polls will have to be analyzed by the pollsters. In addition, the "likely voter models" did not seem to perform adequately. It is good that pollsters who used these models indeed published also their figures for eligible voters. Analyst and voters could see that polls allowed for different estimates according to different hypotheses about who is participating in the election. However, the likely voter models do not seem to be "the solution" to bias in polls' estimates. Pollsters who use IVR should perhaps think about introducing cell phone numbers in their samples and see whether it improves their estimates.

The final point to notice -- it has been noticed by many analysts -- is the substantial variation between estimates. This means that the methods right now are not at the level of reliability that we would like to see them.

Error of the polls - 2014 Ontario Election

Method Pollster mid-date of field period error LIB error PC error NPD Abs. error LIB Abs. error PC Abs. error NDP Total absolute error
IVR Forum 06-JUN-2014 -0.3 -5.8 6.7 0.3 5.8 6.7 12.8
  Ekos 07-JUN-2014 2.8 -4.7 6.1 2.8 4.7 6.1 13.6
  Forum 10-JUN-2014 -3.3 -3.8 4.7 3.3 3.8 4.7 11.8
  Ekos 11-JUN-2014 1.4 -0.1 4.5 1.4 0.1 4.5 6.0
  Forum 11-JUN-2014 -2.3 -3.8 3.7 2.3 3.8 3.7 9.8

Mean   -0.34 -3.64 5.14 2.02 3.64 5.14 10.80

Median   -0.30 -3.80 4.70 2.30 3.80 4.70 11.80

Std. error of mean   1.13 0.96 0.55 0.53 0.96 0.55 1.36
WEB Ipsos 05-JUN-2014 3.7 -3.8 -2.3 3.7 3.8 2.3 9.8
  Abacus 06-JUN-2014 4.7 0.2 -4.3 4.7 0.2 4.3 9.2
  Angus Reid 09-JUN-2014 2.7 -0.8 -2.3 2.7 0.8 2.3 5.8
  Ipsos 09-JUN-2014 5.7 0.2 -6.3 5.7 0.2 6.3 12.2
  Leger 09-JUN-2014 1.7 -5.8 3.7 1.7 5.8 3.7 11.2

Mean   3.70 -2.00 -2.30 3.70 2.16 3.78 9.64

Median   3.70 -0.80 -2.30 3.70 0.80 3.70 9.80

Std. error of mean   0.71 1.20 1.67 0.71 1.13 0.74 1.09

Mean   1.68 -2.82 1.42 2.86 2.9 4.46 10.22

Median   2.20 -3.80 3.70 2.75 3.80 4.40 10.50
  Std. error of mean   0.92 0.77 1.49 0.50 0.74 0.49 0.84

mercredi 11 juin 2014

Pendant ce temps, en Ontario


Je ai suivi les sondages en Ontario entre autres pour voir si la même méthode que j'ai utilisée pour l'élection québécoise de 2014 pouvait donner de bons résultats. De plus, comme j'ai analysé les sondages de la campagne de l'Alberta en 2012 et celle de la Colombie Britannique en 2013, je me suis intéressée à la comparaison entre les campagnes.

Mes remerciements à Bryan Breguet (Too close to call) qui m'a fourni les informations qu'il avait récoltées et avec qui j'ai pu échanger pendant la campagne.

Voici ce que donne l'évolution des intentions de vote:

Les derniers sondages tendent à montrer une remontée du parti Libéral qui le situerait aux alentours de 37,5% des voix alors que le PC serait plutôt à 34% environ. La tendance serait également à une baisse des intentions de vote pour le NPD qui se situerait à un peu plus de 20%. Toutefois, ces évolutions ne sont pas significatives. En clair, les trois lignes pourraient être simplement des lignes droites et il  ne reste plus de temps pour voir la suite. Ce sera donc l'élection qui dira si la tendance est réelle.

Quelle fiabilité accorder à ces résultats? On a en mémoire les "catastrophes" de l'Alberta en 2012 et de la Colombie-Britannique en 2013 de même que la sous-estimation du PLQ au Québec en 2012. Ces élections ont en commun de s'être déroulées dans des circonstances où il y avait un parti qui était au pouvoir depuis longtemps, une certaine insatisfaction par rapport à ce parti et une volonté de changement. Par contre, l'alternative au parti au pouvoir était loin de faire l'unanimité. Il me semble que la situation est similaire en Ontario et les conséquences peuvent également être similaires, soit que le parti au pouvoir fait finalement mieux que prévu.

Du côté des sondages, mes analyses montrent qu'en Ontario, tout comme pour l'élection de Colombie Britannique en 2013, les sondages Web surestiment le NPD au détriment du parti Libéral si on les comparent aux sondages fait par téléphone. De plus, lorsque les sondages se trompent, ils le font à peu près toujours dans la même direction: ils sousestiment le parti le plus à droite, ici le PC, et surestiment le parti le plus à gauche, soit le NPD. Enfin, les partis qui n'ont pas de chances de prendre le pouvoir, dans ce cas-ci le NPD et les Verts, sont généralement surestimés. Ceci semble dû en partie au fait que les électeurs de ces partis sont moins enclins à aller voter.

En conclusion, si les sondages se trompent, le NPD est le plus susceptible d'être surestimé et le PC, le plus susceptible d'être sousestimé. Les Libéraux pourraient également être un peu sousestimés. Je n'ai malheureusement pas pour l'Ontario un historique de la performance des sondages qui me permettrait de corriger les estimations en conséquence.

Au plaisir

mardi 3 juin 2014

Générations, souveraineté, Parti Québécois,


Dans La Presse aujourd'hui, un article de Katia Gagnon  Souveraineté du Québec: le projet de deux générations basé entre autres sur une analyse que j'ai faite de 125 sondages réalisés par CROP depuis 1976, disponibles entre autres sur CORA (Archives canadiennes des sondages d'opinion publique).

Comme tous les graphiques ne sont pas disponibles dans La Presse "ordinaire" ou sur Cyberpresse, je les mets à la suite.

Pourquoi dire qu'il s'agit du projet de deux générations? Parce que, en 1980, seuls les moins de 35 ans sont plus souverainistes que les autres groupes d'âge. En 1995, malgré que le Parti Québécois avait "abandonné" la souveraineté au profit du beau risque et de l'affirmation nationale pendant quelques années avant le retour de Jacques Parizeau, deux groupes d'âge deviennent "porteurs" de la souveraineté. D'une part, les moins de 35 ans de 1980 -- devenus les 35-54 ans -- qui sont demeurés souverainistes dans une large proportion ou qui le sont redevenus à la faveur de la campagne référendaire. D'autre part, les nouveaux jeunes, les moins de 35 ans de 1995, qui eux aussi sont convaincus par la campagne de 1995. Il s'agit donc de deux générations, ceux qui sont nés entre 1945 et 1962 -- les baby-boomers -- et ceux qui sont nés entre 1962 et 1977. On peut voir les graphiques sur l'appui à la souveraineté selon l'âge plus précisément entre 1995 et 2000 ici.

Les graphiques montrent que les générations suivantes n'ont pas pris le bateau. Est-ce qu'elles auraient pu le prendre à la faveur d'une campagne référendaire? Il s'agit d'une question hypothétique et deux hypothèses peuvent être posées. Certains postulent que "les jeunes d'aujourd'hui sont rendus ailleurs" et donc que, quels que soient les arguments amenés lors d'une campagne référendaire, ils ne seront pas convaincus. D'autres postulent que les jeunes sont plus "mobiles" politiquement et peuvent être convaincus à la faveur d'une campagne référendaire. C'est ce qui s'est passé pendant la campagne de 1995 au Québec. Je tenterai de tester ces hypothèses dans le cadre du référendum sur l'indépendance de l'Écosse.

Évolution de l'appui à la souveraineté 1977-2014:

Évolution de l'appui à la souveraineté 1996-2014 (Zoom du graphique précédent).

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1977-2014:

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1996-2014 (Zoom du graphique précédent:

lundi 21 avril 2014

La Charte, le vote, nous et "les autres"


Voici le lien à l'article publié dans La Presse de samedi dernier le 19 avril, portant sur le vote des non-francophones et son impact dans la région de Montréal.

Le vote, la Charte, nous et "les autres"

Les estimations sont basées sur les relations entre la proportion de francophones dans les circonscriptions et le vote enregistré. Ce n'est pas l'idéal mais c'est la seule information disponible et elle donne des estimations similaires à celles obtenues par les sondages.

Au plaisir

mercredi 9 avril 2014

Lendemain de veille - vive la moyenne des sondages


Vient le temps de faire le bilan de la performance des sondages de la dernière élection, une performance tout à fait acceptable en général mais qui ne doit pas nous empêcher de chercher plus loin. Est-elle acceptable pour tous, pour toutes les régions? C'est ce que je regarde dans ce billet. Dans mon prochain billet, j'analyserai la performance pour ce qui est de l'estimation du vote des francophones.

La performance générale

Voici le graphique que j'ai publié le 7 avril incluant tous les sondages publiés, à l'exception du sondage Angus-Reid puisque celui-ci ne comprenait pas les informations de base me permettant de faire une répartition non proportionnelle des discrets. Pour mémoire, j'attribue 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Je n'attribue aucun discrets aux petits partis. Cette répartition donne une prédiction très proche des résultats finaux, surtout si on tient compte que les derniers sondages représentés datent de jeudi dernier, soit trois jours avant le vote et que les intentions de vote continuaient sans doute à évoluer. Elle donne environ 41,5% au PLQ et montre la CAQ et le PQ en train de se rejoindre. On note que certains sondages ont tendance à estimer le vote pour le PLQ plus élevé que d'autres mais ils se situent à l'intérieur de la marge d'erreur (après répartition non-proportionnelle des discrets).

Si j'utilise les estimations des sondages tels que publiés, la prédiction est moins bonne comme on peut le voir sur le graphique suivant. C'est surtout l'estimation de l'intention de vote pour le PLQ qui est un peu trop basse (à 40%).  De plus, la variation de l'estimation des intentions de vote est un peu élevée: Le dernier Forum place le PLQ à 44% alors que le dernier Léger le place à 38% et place le PQ à 29%. Ces trois estimations se situent en dehors de la marge d'erreur mais, dans le cas du PQ, on peut penser qu'au moment où le sondage a été fait, ce dernier était à un  niveau plus élevé qu'au moment de l'élection. De plus, comme les courbes se situent plus ou moins à la moyenne des sondages, cette moyenne est proche de la réalité.

Et les résultats par région?
Peut-on mieux comprendre comment améliorer les sondages en analysant leur performance sur le plan régional. J'ai souligné dans un message précédent que les sous-échantillons régionaux étaient assez variables, ce qui est "normal" étant donné la taille des échantillons. Il faut noter que nous n'avons pas les estimations par région pour EKOS et Angus Reid parce que leur découpage régional est différent et non comparable avec celui des autres firmes.

La région de Montréal concentre les Québécois de langue autre que française. Ces personnes peuvent être plus difficiles à rejoindre pour les sondeurs. Par ailleurs, elles peuvent également être moins portées à aller voter, ne serait-ce que parce qu'elles résident plus fréquemment dans des circonscriptions acquises au PLQ. Bien estimer le vote dans la région de Montréal constitue donc un défi pour les sondeurs. Voici ce que donne l'estimation de l'évolution des intentions de vote. On peut noter que l'estimation du vote pour le PLQ est très variable, variant de 36% (IPSOS) à 51% (Forum)  selon les sondeurs. Pour ce qui est du PQ, on trouve trois estimations à 28% et une à 21% (dernier Forum); pour la CAQ, les estimations varient de 14% à 22%. Les résultats de l'élection donnent 44,7% au PLQ, 24,5% au PQ, 19,3% à la CAQ et 8,9% à Québec solidaire. On n'est donc pas très loin du compte, en moyenne, avec une légère surestimation du PQ, toutefois. Comme il y a une variation nettement plus forte des estimations pour le PLQ, on peut penser qu'il y aurait du travail à faire pour constituer des échantillons plus représentatifs. Le graphique donne également l'estimation du vote de l'ensemble des petits partis et le situe à 11%, ce qui est tout à fait dans la marge d'erreur.

Pour ce qui est de la région de Québec, les échantillons sont habituellement très petits et donc la variation des estimations est naturellement forte. Toutefois, on arrive à une très bonne prédiction moyenne, les résultats de l'élection ayant donné 39,2% au PLQ, 17,6% au PQ et 34,8% à la CAQ.  Les deux derniers sondages donnaient 36% à la CAQ dans cette région. L'estimation du vote PLQ allait de 35% (Léger) à 39% (Forum). Québec solidaire est surestimée. Ce parti a obtenu 5,6% des voix alors qu'il constitue la majeure partie du vote aux autres partis, estimé par les sondages à 10%. Il est possible toutefois qu'il y ait eu des mouvements de dernière minute.

Enfin, pour ce qui est du reste du Québec, les résultats sont de 37,9% pour le PLQ, 29,8% pour le PQ, 23,7% pour la CAQ et 6,6% pour Québec solidaire. Le graphique montre encore là une estimation moyenne qui est très bonne. On constate une légère surestimation du PQ et de Québec solidaire et une sous-estimation du PLQ et de la CAQ, comme c'est un peu la norme lorsque les sondages ont des biais (sous-estimation de la droite, surestimation de la gauche).

En conclusion,

La performance des sondages a été bonne en moyenne. Cela souligne l'intérêt qu'il y ait plusieurs sondages en même temps, utilisant des méthodologies différentes et que l'on analyse leurs estimations conjointement. Ainsi les biais des uns compensent ceux des autres et on obtient des estimations moyennes respectables. À titre d'illustration, alors que le dernier Léger donnait 12 points d'avance au PLQ, Forum lui en donnait 20. Les résultats -- 16 points de différence -- se situent presque à la moyenne entre les deux.

Enfin, cette campagne a été marquée par l'absence de sondages pendant 10 jours à la mi-campagne, entre les deux débats, au moment où il est possible que les intentions de vote étaient en train de changer. C'est une situation à éviter si on veut donner aux électeurs une image fidèle de ce qui se passe.