Más allá de descartar a los encuestadores que son consistentemente 5 puntos demasiado demócratas o republicanos (lo que indica algunos problemas serios con la metodología o integridad de un encuestador, y con frecuencia con ambos), no tiene mucho sentido preguntar sobre la “precisión” para los encuestadores, especialmente cuando se trata de analizando pequeñas diferencias como “SurveyUSA fue 0.3 puntos porcentuales más exactos que Quinnipiac”.
Primero, hay un margen de error de muestreo. La abrumadora mayoría de los periodistas no sabe cómo interpretar este número: lo informan como si cualquier ventaja externa significara una ventaja real en las encuestas. En realidad, en una encuesta de 1,000 encuestados, un candidato tendría que registrar una ventaja de más de seis puntos porcentuales antes de que cualquier estadístico o encuestador pudiera decir que estaba claramente por delante. Esto se debe a que el margen de error no se aplica a la distancia entre el apoyo de los candidatos, sino al apoyo que recibe cada candidato, lo que significa que para liderar definitivamente en una encuesta, debe adelantarse al menos el doble del margen de error .
Y dentro del margen de error, no es razonable decir que cualquier encuestador fue realmente mucho más preciso que cualquier otro, porque es realmente una posibilidad aleatoria de que uno de ellos se haya acercado más a los resultados reales que los demás. Tenga en cuenta también que a medida que el tamaño de la muestra se reduce, el margen de error aumenta, por lo que en las elecciones primarias, donde el tamaño de la muestra suele ser un poco menos de la mitad de la muestra total, el margen de error será aún mayor, haciendo que los juicios de precisión sean aún menos significativos en elecciones generales.
- ¿Qué partido ganará las elecciones de Vidhana Sabha en Karnataka en 2018 y por qué?
- Si el gobierno de BJP elimina el sistema de reserva total, ¿pueden ganar las elecciones de 2019 con mayoría?
- ¿Cuál será la reacción de los mercados después de las elecciones generales del Reino Unido?
- Si el colegio electoral se reemplaza con el voto popular en las elecciones presidenciales, ¿qué sucede si ningún candidato gana la mayoría? ¿La Cámara decide las elecciones?
- ¿Cómo comenzó la derecha religiosa estadounidense?
Luego está el hecho de que a menudo sucede que todas las encuestas en una elección fueron demasiado parciales. Esto se debe a lo que sucede detrás de escena cuando se analizan los resultados de la encuesta:
- Después de que el encuestador recopila todas las respuestas de la encuesta, registran la distribución demográfica: qué porcentaje de encuestados era una raza, sexo, nivel de ingresos, edad, registro de partido, etc. en particular.
- Esto rara vez se ve como se ve el electorado. A menudo, la muestra que obtenga será más vieja, más blanca y contendrá más mujeres de lo que debería ser el electorado. Esto sesgará los resultados: más mujeres, por ejemplo, harían una muestra en promedio demasiado inclinada a la democracia, pero una muestra más vieja y más blanca la llevaría en la dirección republicana.
- Para obtener una imagen más precisa, el encuestador agrega más peso a ciertos grupos demográficos. En el ejemplo anterior, evaluarían más las respuestas de los hombres, los votantes no blancos y los votantes más jóvenes, ya que esos grupos estaban subrepresentados en la muestra en comparación con la forma en que el encuestador espera que estén representados en el electorado real.
La parte difícil es ese último paso. La palabra clave es esperar . Por lo general, los encuestadores se acercan bastante a la distribución demográfica del electorado: tienen datos electorales anteriores y tendencias como las tasas de mortalidad por raza, etc. Y, de hecho, la mayoría de los encuestadores tienden a llegar a distribuciones demográficas muy cercanas, ya que ‘ Todos trabajamos con más o menos los mismos datos. Pero al final del día, la distribución que eligen es una expectativa o, más cínicamente, una suposición. Esa suposición puede ser muy, muy incorrecta, y si un grupo resulta en números mucho más altos de lo que esperaban, sus resultados también pueden ser muy, muy incorrectos.
A menudo, cuando estas cosas esperadas suceden, como he dicho, la mayoría de los encuestadores hacen suposiciones similares sobre la composición del electorado, y si eso sucede, todos serán atrapados con los pantalones bajados. En la misma dirección, no menos: si la participación de los negros es sustancialmente mayor de lo esperado, por ejemplo, casi todos los encuestadores tendrán como resultado un pequeño número de republicanos. ¿Significa que todos ellos eran inexactos?
Bueno, sí, pero todavía habrá un encuestador o dos que obtuvieron resultados muy precisos porque, de hecho, se inclinan demasiado por ser demócratas para empezar. Esto es en realidad lo que sucedió con las Políticas Públicas en 2012. En ese año, probablemente fue una subestimación de la participación negra (fue el primer año en que la participación negra superó a la participación blanca) que hizo que todos los resultados de los encuestadores se inclinaran demasiado por los republicanos. Sin embargo, las encuestas de políticas públicas han tenido una inclinación demócrata notable en relación con el promedio antes de tener en cuenta la inclinación republicana de ese año. En efecto, la inclinación demócrata del PPP canceló la inclinación republicana del año, por lo que el PPP pudo presumir de que era el encuestador más preciso en las elecciones de 2012. Dos errores hicieron un acierto, en otras palabras.
¿Pero diría que PPP fue el encuestador más preciso de ese resultado? Yo no lo haría No se pueden comparar encuestadores en el vacío; debe evaluarlos en relación con un conjunto estándar de todos los demás encuestadores. Sería como decir que Nueva York era un estado republicano en las elecciones de 1984: sí, Reagan lo ganó por ocho puntos, pero solo porque ganó la nación por 18. El “sesgo relativo al promedio” es lo que se llama una votación efecto doméstico de la empresa: la inclinación promedio de un encuestador causada únicamente por procedimientos “internos”. En otras palabras, el error que esperaría que tuviera un encuestador si, en promedio, todas las encuestas en un año fueran correctas. Es mucho más útil que tratar de medir la precisión de un encuestador en relación con cualquier resultado dado, porque ese tipo de precisión puede variar dramáticamente de una elección a otra, incluso dentro de un año determinado. Los efectos de la casa le permiten emitir juicios sobre los encuestadores sin suponer una sola cosa sobre cómo funcionarán las encuestas en general en un año en particular, por lo que son más útiles para analizar la “precisión”.