Tag Archives: Metroscopia

Análisis comparado sobre el acierto de mi pronóstico de las elecciones generales 2015

Ayer se celebraron las elecciones generales al congreso de España. Los resultados, conocidos por todos, ya con el escrutinio acabado han sido los siguientes:

Resultados elecciones generales 2015.

Resultados elecciones generales 2015.

La madrugada del viernes al sábado publiqué un post con el pronóstico que yo hacía para estas elecciones. Muestro aquí de nuevo el resumen con la distribución de escaños en el arco parlamentario.

 

Como quedaría el arco parlamentario.

Como quedaría el arco parlamentario.

En este post quería simplemente examinar la bondad de dicho pronóstico. Para ello, en primer lugar quería compararlo con otros pronósticos que se han hecho en estas fechas. En la tabla de debajo, muestro una compilación de pronósticos con el resultado final a la izquierda. El código de color lo añado para ver donde aciertan y fallan cada uno de los pronósticos. Si el resultado cae dentro del margen que se indica lo doy por bueno (verde, independientemente de cómo de grande es el margen), si el resultado se desvía del margen por un solo escaño lo marco en amarillo, si se desvía por dos o más escaños lo dejo en rojo (como muy “desviado”) (1).

Comparativa de encuestas electorales vs resultados.

Comparativa de encuestas electorales vs resultados.

En la tabla se puede ver que de los 4 grandes partidos en 3 de ellos el resultado se encuentra del pronóstico que hice y con Podemos me desvié en 1 escaño. Todos los otros pronósticos tienen al menos a dos partidos (si no los cuatro) completamente fuera de los márgenes. Con quien más se han columpiado todos es con Ciudadanos, a quienes prácticamente todos daban resultados muy por encima de los obtenidos. Igualmente a Podemos prácticamente le daban todos menos de 64 escaños (excepto GESOP, que se pasó por encima en más de 10). A PP varios le daban bastante por debajo de 120 escaños. Es el PSOE el que mejor predijeron en general, aunque dos encuestas le daban un hundimiento bastante más pronunciado.

Por otro, sobre esta comparación quería indicar que la famosa cocina del CIS tampoco es tan tendenciosa como a veces se quiere hacer ver (2). Al partido del gobierno le ha dado justo en el centro. Al PSOE lo tiene prácticamente en el margen. Y es a Ciudadanos y Podemos donde los tiene cruzados, como las otras encuestas excepto GESOP.

Por último, tengo la impresión de que en las cocinas al voto indeciso lo tienden a ver como más de cambio de lo que realmente es (3).

Una vez comparadas las encuestas y visto que mi pronóstico efectivamente fue mucho más certero, quería ver cómo de certero fue en términos absolutos. Para ello he recopilado los resultados provincia por provincia para poder comparar la desviación o no que tiene el pronóstico para cada partido. Ello se ve en las siguientes 3 tablas: pronóstico, resultados y corrección.

Pronóstico detallado.

Pronóstico detallado.

Resultados detallados por provincia.

Resultados detallados por provincia.

Correccion_por_provincia

Corrección del prónostico con resultados por provincia y partido.

 

En la corrección he usado el mismo código de colores: verde cuando el resultado estaba dentro de lo pronosticado, amarillo si me equivoqué en 1 escaño para ese partido (introduciendo un naranja cuando ese error supone pasar de estar representado a no estarlo o viceversa) y rojo cuando me equivoco en 2 o más escaños.

En total, en la tabla hay unas 280 predicciones a hacer: 223 correctas (si bien prácticamente 50 son darle un cero a IU en las provincias donde se presenta, todas), 53 errores de un escaño (19 de los cuales suponen cambio en la representación), 3 errores de 2 o más escaños.

Debajo incluyo un par de gráficas donde se puede ver de un vistazo lo descrito arriba. Por partido y provincia acierto en un 80%. Por provincia, prácticamente el 50% están predichas correctamente para todos los partidos.

Analisis por partido y provincia.

Análisis por partido y provincia.

Análisis por provincia.

Análisis por provincia.

Finalmente, en el post donde incluí el pronóstico indicaba que las dos castillas parecían fáciles de predecir, no así Cataluña, Galicia y País Vasco. Efectivamente, de largo es en Cataluña donde más errores he tenido. Castilla y León ha salido bastante bien. Y en Castilla La Mancha tuve algún error más de los esperado (escaños a Ciudadanos). (4)

(1) El hecho de usar una desviación de 1 o 2 para distinguir entre poco y muy desviado es totalmente arbitrario. De hecho, podría haber cogido como “poco desviado” hasta 5 escaños, y mi pronóstico seguiría siendo igual de mejor que los otros, pero he querido coger 1 porque así es el mismo código de colores que uso en este mismo artículo un poco después para ver el acierto provincia a provincia y partido a partido. Y ahí, sí, no se puede suponer que desviarse por más de 1 escaño es “poca” desviación.

(2) No en vano, la última encuesta del CIS se realiza sobre 17.000 muestras, esto es un orden de magnitud de las ~800, ~1200, 2800, etc., que usan las otras.

(3) En mi opinión mejor harían en pensar en ese voto como una regresión a la media de lo ya visto en elecciones anteriores.

(4) En la tabla se puede ver que en la Comunidad Valenciana he coloreado todas las casillas en verde a pesar de haber números en Podemos y Compromís. Esto es debido a que en el momento de hacer el pronóstico no era consciente de que de hecho iban juntos. Y le di a cada uno la representación que creía que iban a tener. La suma de ambas representaciones pronosticadas es igual al resultado del conjunto. Esto ha sido posible en parte gracias a que Valencia es una circunscripción grande y el error en no agruparlas no ha hecho que mi pronóstico perdiese escaños de Podemos.

1 Comment

Filed under Miscellanea

Penosa encuesta de Metroscopia

Me encuentro hoy en El País con la siguiente encuesta “Autoubicación ideológica de los electores”:

Fuente: Metroscopia para El Pais,

Fuente: Metroscopia para El Pais,

Dicha encuesta va acompañada de un artículo (“¿Hay espacio más allá?”) firmado por Jose Pablo Ferrándiz, sociólogo y vicepresidente de Metroscopia. Y por lo que parece, mal profesional.

Viendo la encuesta me llama la atención que indiquen que hay 342.967 electores de extrema derecha (10), los mismos que prácticamente extrema izquierda (1) o derecha (9). Miro en detalle los números y veo que han preguntado exactamente a 100 personas.

La encuesta indica que la población de electores es de algo más de 34 millones de personas. Me llama la atención lo pequeño de la muestra, y me pregunto por la confianza de la muestra que han tomado, y así que se lo pregunto

Como no espero respuesta, decido hacer los números.

[Por cierto, cuando digo arriba “mal profesional”, en parte lo digo porque ya es poco profesional no adjuntar los datos de la muestra: número de encuestados, nivel de confianza e intervalo de confianza… pero veremos que no los incluye por algo]

Usando un simple calculador podéis ver que para un nivel de confianza típico de entre 95% y 99% con una población de más de 34 millones de electores, el hecho de haber cogido una muestra de solo 100 personas hace que el intervalo de confianza esté entre + / – 10-13%.

Es decir, lo que Jose Pablo no nos dice es “un 10% de los electores se ubica en el centro derecha (6) con un intervalo de confianza de más o menos 10%, podrían ser 0% o 20%, vaya usted a saber. Esa es la frase que echo en falta en su artículo donde llega hasta el punto de desgranar como se califica un 2% o 6% de la población (más menos 10%...)

El último detalle que me ha encantado es la nota del final: “* La diferencia hasta 100% corresponde a no sabe y a no contesta”. Lo gracioso es que las cifras de porcentajes que han dado sí que suman 100%, y por tanto la nota final sobra. Todo el mundo ha contestado y el único que no sabe aquí es Jose Pablo.

¿A quién debemos poner en solfa? ¿A El País? ¿A Metroscopia? ¿A su vicepresidente Jose Pablo Ferrándiz? ¿Al becario? ¿…?

NOTA: Al final dudo de si con los 100 encuestados se han limitado a preguntar a “electores” y aleatoriamente. Capaces de haber preguntado a menores de edad, extranjeros, y solo a familiares y amigos…

1 Comment

Filed under Miscellanea, Twitter & Media

Confidence in institutions: UK vs. Spain

Evaluation of institutions, entities and social groups (source: Metroscopia for El País, 25/08/2013).

The Spanish newspaper El País published yesterday a survey it had commanded to Metroscopia about the confidence that Spanish people had in different institutions (see the complete article, in Spanish, “Por qué no se hunde España“). See a summary of the results in the graphic to the right.

Following an exercise during a training module last year, I published a post discussing a similar survey which is yearly made in Britain by the consultancy Ipsos Mori, the Veracity Index (see in the link results from 1983 to 2011).

I thought that it could be interesting to show the results of both surveys side by side to try to spot some commonalities and some differences of how the different groups and institutions are perceived in Britain and in Spain. I did the comparison even if the questions used for the survey are not exactly the same in both cases and if one survey dates from 2011 and the other from 2013. See the comparison in the picture below.

Another difference is that the Spanish survey is including up to 36 different groups versus 16 being evaluated in the UK, but this is not impacting the comparison as each group is rated individually.

Let’s see the similarities:

  • 4 institutions / groups are very well-regarded in both countries, with a rating over 70% in both cases: doctors, teachers, professors and scientists.
  • 4 institutions / groups are very badly regarded in both countries, with a rating of around 30% or lower in both cases: unions, business leaders, government and politicians.

The biggest differences:

  • 3 groups are much better perceived in Spain than in the UK: the police, civil servants and journalists.
  • 2 groups are much worse perceived in Spain than in the UK: judges and clergyman/priests (especially bishops).
Comparison of confidence polls in Britain (2011) and in Spain (2013) (sources: Ipsos and Metroscopia for El País).

Comparison of confidence polls in Britain (2011) and in Spain (2013) (sources: Ipsos and Metroscopia for El País).

How would you rate these groups? (my rating is published in the post from some months ago)

Leave a comment

Filed under Miscellanea