A pesquisa eleitoral é a forma mais comum de conectar a população geral com conceitos básicos de estatística, como amostragem e inferência. Por isso, a descrença nas pesquisas eleitorais pode levar à descrença na estatística como um todo. Isso é prejudicial para nossos profissionais e, consequentemente, para a sociedade.
Uma discussão frequente em debates, redes sociais e conversas de bar é a validade de pesquisas eleitorais. No Brasil, existe uma sensação de descrença nas pesquisas, já que, historicamente, elas erraram os resultados de várias eleições.
Mas será que a comparação de resultados de pesquisas eleitorais e resultados de eleições é correta? Nesse artigo, argumentarei que não e darei uma ideia de como isso poderia funcionar na prática.
Pesquisas eleitorais: duas culturas
Leo Breiman, em seu famoso artigo de 2001, discorre sobre a existência de duas culturas entre estatísticos: a voltada para modelagem de dados e a voltada para modelagem algorítmica. A primeira está interessada em compreender o mecanismo gerador dos dados observados, enquanto a segunda está interessada em predizer um conjunto de outputs a partir de um conjunto de inputs.
Do ponto de vista matemático, essas culturas estão intimamente relacionadas e diferem somente com relação à função de perda que se quer minimizar. Na prática, no entanto, isso gera muito atrito na comunidade científica e é o que está por trás da maior parte dos debates sobre estatística vs machine learning.
Curiosamente, o principal problema na interpretação de pequisas eleitorais está relacionado com as duas culturas. Considere as seguintes perguntas:
- Se a eleição fosse hoje, qual seria a proporção de votos do candidato \(A\)?
- Qual a probabilidade do candidato \(A\) ganhar a eleição?
A principal afirmação desse artigo é a seguinte:
Pesquisas eleitorais têm como objetivo responder (1), mas a sociedade as usa para responder (2).
Pesquisas eleitorais são levantamentos de intenção de voto. Seu objetivo é entender as opiniões da sociedade sobre os candidatos, hoje. O objetivo não é predizer qual será o resultado da eleição.
Isso significa que utilizar resultados de eleições para avaliar a qualidade das pesquisas é uma comparação, no mínimo, injusta. É como avaliar a qualidade de um livro pela sua capacidade de servir como peso de papel, uma vez que esta não é sua finalidade.
Pesquisas eleitorais podem ser utilizadas para predizer eleições?
Claro que sim! Modelos estatísticos sempre têm propriedades preditivas. Um modelo preditivo para as eleições, no entanto, deve utilizar muito mais informações do que apenas as intenções de voto dos eleitores. Alguns exemplos de dados adicionais que poderiam ser utilizados:
- Podemos tratar indecisos como dados faltantes. Utilizando pesquisas anteriores, podemos estimar a proporção de indecisos que votarão em cada candidato, ao invés de simplesmente descartar os dados dos indecisos.
- Historicamente, sabemos que a proporção de brancos e nulos observada nas urnas é diferente do que as pessoas afirmam nas pesquisas. Podemos utilizar esse dado para predizer a proporção de votos brancos e nulos.
- Em determinadas regiões, as pessoas mudam o voto de última hora, possivelmente por ações ilegais como propaganda em boca de urna. Podemos utilizar essa informação para ponderar as estimativas obtidas nas pesquisas eleitorais.
- Podemos utilizar os dados de diversas pesquisas eleitorais ao mesmo tempo, dando pesos diferentes para elas, para predizer os resultados da eleição.
Esses exemplos não são exaustivos. Existem muitas outras formas de considerar todo o conhecimento que temos em nossas predições sobre as eleições.
Como podemos avaliar pesquisas eleitorais?
Pesquisas de intenção de voto só podem ser avaliadas através da metodologia e da execução. Existem diversos parâmetros para levar em conta, como:
- Metodologia de listagem dos indivíduos da amostra: discussões como amostragem probabilística ou amostragem por cotas.
- Metodologia de acesso aos respondentes: discussões como ponto de fluxo, pesquisa em domicílio ou pesquisa por telefone.
- Tratamento da não resposta: discussões sobre auto seleção.
- Verificação das respostas: técnicas para evitar manipulação de resultados e fraudes na coleta de dados.
O problema é que a avaliação das pesquisas sempre acaba sendo subjetiva. Por exemplo, sempre é possível argumentar que uma pesquisa é ruim por não ter utilizado amostragem aleatória simples (AAS) para realização do estudo, o que gera um debate incessante.
Assim, me parece que a forma mais adequada de avaliar pesquisas de intenção de voto é o atendimento a requisitos formais, como o clarificação sobre o método de condução do estudo. Isso pode ser atingindo com a disponibilização de:
- Descrição detalhada da metodologia.
- Apresentação do questionário do estudo.
- Base de dados final utilizada e script ou lista de passos utilizados para reprodução dos resultados.
O único critério estatístico coerente para avaliar uma pesquisa eleitoral desse tipo seria a comparação dos resultados da pesquisa com outras pesquisas que têm o mesmo objetivo. Por exemplo, se no dia 03 desse mês foram divulgadas dez pesquisas para presidente e uma das pesquisas coloca o candidato \(A\) com 15% de vantagem em relação à média das dez pesquisas, existem evidências de que algo pode estar errado nesse levantamento.
Hoje em dia temos alguns agregadores de pesquisas eleitorais que podem ser utilizados para monitorar os resultados das pesquisas e avaliar a qualidade dos resultados. Os meus preferidos são o do Agregador do JOTA, elaborado pelo Guilherme Jardim Duarte e o do Poder360, elaborado pelo Volt Data Lab.
Como poderíamos mudar essa realidade?
Se o interesse da sociedade está em (2), por quê não divulgar exatamente isso? Nos Estados Unidos, é o que o famoso portal FiveThirtyEight se dispôs a fazer. Eles soltam predições periódicas dos resultados de eleições e de eventos esportivos. No Brasil, iniciativas como o PollingData do Neale El-Dash fazem o mesmo, com diferentes metodologias.
Avaliar a qualidade de estudos preditivos para responder (2) é muito mais fácil. Bastaria comparar o resultado do estudo com os resultados das eleições. O único cuidado seria o de, eventualmente, não dar o mesmo peso para pesquisas mais antigas e mais recentes. Uma forma de fazer isso é utilizando uma adaptação dos scores de Brier:
\[ B = \frac{1}{N}\sum_{t=1}^N\sum_{i=1}^C p_t(f_{ti} - r_i)^2, \]
onde
- \(C\) é o número de candidatos.
- \(N\) é a quantidade de pesquisas realizadas.
- \(f_{ti}\) é a probabilidade de vitória do candidato \(i\) na data \(t\).
- \(p_t\) é um peso para a predição realizada na data \(t\), com a propriedade \(\sum_{t=1}^N p_t = 1\). Idealmente, se \(t=N\) é a data mais próxima das eleições, então \(p_N \geq p_{N-1} \geq \dots \geq p_1\), ou seja, é dado maior peso para predições feitas perto das eleições.
- \(r_i\) é zero se o candidato \(i\) perdeu e um se o candidato \(i\) ganhou.
Minha recomendação é que o Tribunal Superior Eleitoral (TSE) defina algumas datas para divulgação de estudos preditivos. Os institutos de pesquisa passariam a divulgar esses estudos nas datas especificadas e, com isso, seria possível elaborar um ranking dos melhores institutos. Essa metodologia já é utilizada pelo BACEN, por exemplo, para avaliar predições sobre a inflação.
Wrap-up
- Não avalie pesquisas de intenção de voto usando os resultados das eleições.
- A avaliação de qualidade de pesquisas de intenção de voto deve se limitar a i) atendimento a critérios formais e ii) comparação com resultados de outras pesquisas realizadas no mesmo período.
- Estudos preditivos de resultados de eleições é o que realmente responde ao que a população quer saber.
- Proponho que o TSE determine algumas datas para divulgação de modelos preditivos e, posteriormente, faça um ranking dos melhores institutos.
Eu sei que o artigo é polêmico, então por favor sejam gentis nos comentários.
É isso pessoal. Happy Coding e não esqueçam de acessar o aplicativo pesqEle para monitorar as pesquisas eleitorais!
Errata
Depois de divulgar o texto, recebi algumas sugestões de melhorias. Agradeço pelas contribuições! Preferi colocar comentários adicionais no lugar de substituir o texto original para não causar confusão nos leitores. Segue abaixo.
- “elas erraram os resultados de várias eleições.”
Essa frase está um pouco exagerada. Na verdade, muitas vezes o resultado de eleições acompanha a tendência ajustada com o histórico de levantamentos das pesquisas eleitorais.
- “uma adaptação dos scores de Brier”
A fórmula está ruim! Como os \(p_t\) somam 1, o \(1/N\) está aí de bobeira. Então a fórmula que eu sugiro é essa aqui:
\[ B = \sum_{t=1}^N\sum_{i=1}^C p_t(f_{ti} - r_i)^2, \]
- “uma pesquisa é ruim por não ter utilizado amostragem aleatória simples (AAS)”
Quando mencionei AAS, eu quis dizer amostragem probabilística. Acho que quase todos concordam que AAS é péssimo nesses casos por conta da abrangência territorial do Brasil, que torna essa metodologia inexequível.
- “se no dia 03 desse mês foram divulgadas dez pesquisas”
Aqui é melhor colocar “se no período X foram conduzidas dez pesquisas”. As pesquisas devem ser pareadas pelo período de condução do levantamento das opiniões, não pela data de divulgação.
- Você quer substituir pesquisas eleitorais por modelos preditivos?
Não! Pesquisas eleitorais devem continuar existindo, até porquê elas são o input mais importante para modelos preditivos. A ideia do ranking é que as empresas se voluntariem para competir. A única restrição é que elas devem enviar suas predições para o TSE em datas pré-definidas pelo órgão. Se as datas de submissão fossem diferentes, isso geraria uma competição injusta, pois o instituto A poderia usar a submissão de B para melhorar sua predição.
