Pesquisar

tempo de leitura: 7 min salvar no browser

{ ARTIGO }

Sobre a variabilidade de resultados nas pesquisas eleitorais

Para o sociólogo Tulio Kahn, rechaçar pesquisas de forma genérica é o mesmo que não acreditar em vacina ou que o aquecimento global não tem causas humanas

 

Tulio Kahn, sociólogo e colaborador do Espaço Democrático

 

Edição: Scriptum

 

Muita gente diz que não acredita em pesquisa eleitoral e neste contexto de campanha política encontramos diversas acusações contra as pesquisas. “Eu nunca fui entrevistado em nenhuma” – argumentam alguns. “Como pode um grupo de 2.000 pessoas representar de maneira fidedigna o que pensa a população do País”, argumentam outros. Ou, ainda: “Todo mundo que eu conheço vai votar em fulano, mas as pesquisas apontam beltrano como preferido”; “olhe a quantidade de apoiadores nas ruas”. E há os que simplesmente apontam a existência de um complô entre os institutos de pesquisa, o TSE e o candidato à frente das preferências nas pesquisas.

Este sentimento é acirrado pelo fato das pesquisas apresentarem, por vezes, resultados diferentes, o que seria uma “prova” do erro ou armação. Embora todas as pesquisas apontem Lula à frente de Bolsonaro, em setembro de 2022 a magnitude das diferenças entre os candidatos varia fora das margens de erro – o que de resto é teoricamente esperado, num pequeno número de vezes.

Esta incompreensão para com as pesquisas é fruto muitas vezes de uma falta de entendimento sobre o que é uma amostra representativa, sobre a Lei dos Grandes Números, viés de seleção, margens de erro e nível de significância, entre outros termos obscuros desta área de conhecimento.

Uma amostra, como sugere o termo, é uma parte de um todo. E para ser representativa ela deve características similares ao todo. A melhor maneira de garantir esta similaridade é através do sorteio aleatório. Vamos supor que temos um cadastro de todos os eleitores brasileiros e que sorteamos ao acaso 1.000 deles. Se a amostra for realmente aleatória (o que os estatísticos chamam de AAS – amostra aleatória simples), existe uma grande probabilidade de que ela reproduzirá com precisão as características de gênero, idade, religião ou preferências eleitorais da população. Na amostra AAS, cada eleitor tem uma chance conhecida e igual de ser sorteado para a pesquisa. Aqui temos um primeiro problema que vale mencionar: teoricamente, tanto quanto me lembro dos meus cursos de verão de amostragem no IME, estimativas de margem de erro e nível de significância foram pensadas para amostras AAS. Mas raramente uma pesquisa amostral é feita desta forma “pura”.

O que os institutos de pesquisa fazem são amostras em múltiplos estágios, amostra por conglomerado, estratificadas etc. Ou simplesmente usam cotas não probabilísticas em algum estágio e ponderam as respostas à posteriori, quando falham em encontrar as proporções necessárias para refletir algumas características da população. Pode-se estimar margens de erro e nível de significância para as amostragens probabilísticas “não simples”, mas o procedimento é mais complexo e no caso das pesquisas por “cotas”, é forçar a barrar para dar uma aparência de cientificidade. Valores de intervalo de confiança e margem de erro se aplicam apenas aos números totais da amostra e não aos extratos ou às tabelas com cruzamentos, como são divulgados. De todo modo, o ponto aqui é que o princípio da aleatoriedade nos assegura que uma amostra bem selecionada tem grande probabilidade de refletir as características e o que pensa o eleitor, mesmo quando essa aleatoriedade é aplicada apenas em alguns estágios.

O TSE publica mensalmente estatísticas sobre o perfil do eleitorado por idade, sexo, nível de instrução e estado civil, por exemplo, desagregados em nível de zona eleitoral. Isso ajuda os institutos de pesquisa a calcularem suas amostras e cotas ou checarem se a amostra probabilística coletada coincide com o perfil do “universo” de 156 milhões de eleitores cadastrados. Note-se, contudo que a amostra coletada pode divergir sobre centenas de outros aspectos (religião, renda, cor etc.) que são importantes definidores de voto e sobre as quais desconhecemos as características no universo. Apenas a aleatoriedade do procedimento amostral garante que os vieses de seleção sejam neutralizados.

O Censo demográfico permitiria conhecer em maiores detalhes as características da população para esta seleção amostral e verificação de consistência. No caso de inconsistência moderada, é legítimo usar fatores de ponderação que equilibram as respostas. Por exemplo, se faltaram alguns homens evangélicos jovens na amostra e sabemos quantos são os homens evangélicos jovens na população, podem dar maior peso às respostas destes indivíduos, de modo a balancear o resultado agregado. O problema é que o Censo atrasou e dados relevantes sobre as características da população são bastante defasados, introduzindo eventuais vieses no cálculo inicial da amostra ou na ponderação à posteriori. O Censo de 2010 estimava os evangélicos em 22% da população em 2010, enquanto pesquisas mais recentes estimam em 31% (Datafolha, 2020). Trata-se de uma diferença relevante, especialmente quando se sabe que existem associações entre religião e preferência pelos candidatos.

A maioria das pesquisas utiliza cotas no último estágio e utiliza para calcular as cotas variáveis “significativas” (sic), como sexo, idade, escolaridade, renda etc. As mesmas variáveis costumam ser usadas caso haja necessidade de ponderação. Não fica claro o que seja uma variável “significativa”, pois como vimos, nestas eleições, religião pode ser uma variável altamente significativa. O mesmo vale, por exemplo, para a variável PEA/Não PEA (população economicamente ativa). Sem controle desta característica, é comum que pesquisas, principalmente por telefone, acabem sobrerrepresentando, na amostra, donas de casa, estudantes, aposentados etc., que tem maior disponibilidade de participação. Mesmo atendendo às cotas de sexo, idade e escolaridade, eles podem diferir bastante quanto à participação no mercado de trabalho e muitas pesquisas deixam de controlar estas variáveis que são “significativas” para definir o voto. Em suma, o que são variáveis significativas varia muito em função do tipo de tema que se pesquisa e até mesmo de eleição para eleição. Mas os institutos tendem a usar variáveis padrão para estabelecimento de cotas e ponderação.

Outro problema tem relação com a atualização dos dados, como escolaridade ou renda. Sexo ou naturalidade nunca mudam (ou quase nunca…), mas escolaridade e renda sim. Tanto os dados do Censo quanto do TSE são válidos para o momento da coleta, mas podem se afastar da realidade se o dado foi registrado há muito tempo. Assim, muitos institutos de pesquisa preferem não ponderar a amostra por renda, escolaridade ou religião e simplesmente aceitam os valores colhidos em campo. É uma opção metodológica e é difícil dizer quem está certo ou errado à priori. Estas defasagem e opções de ponderação explicam em parte a variabilidade dos resultados.

Outro ponto relevante é o questionamento do tamanho da amostra. Como pode uma quantidade tão pequena de entrevistados representar de modo fidedigno 156 milhões de eleitores? Para responder a essa questão é necessário conhecer um pouco sobre a Lei dos Grandes Números, um teorema probabilístico formulado por Bernoulli em 1713: conforme aumenta o tamanho da amostra (N), mais as características da amostra vão se aproximando das características reais do universo populacional – e mais constantes vão ficando. Sabemos pelas estatísticas do TSE que 10,95% do eleitorado têm ensino superior completo. Assim, teoricamente, se sortearmos aleatoriamente uma amostra de 100 eleitores, 11 aproximadamente terão superior completo. Mas 100 é uma amostra relativamente pequena é não é difícil que encontremos apenas 8 eleitores com curso superior ou 15, por exemplo. Se aumentarmos o tamanho da amostra para 500 eleitores, esta variação em torno do número esperado 11 deve diminuir e se aumentarmos para 2000, mais provável é que encontremos algo próximo de 10,95%. Em outras palavras, quanto maior o tamanho da amostra, mais provável é que a característica levantada na amostra reflita a distribuição no universo. E para cada tamanho de amostra, é possível calcular em quanto o número levantado deve diferir do número conhecido.

A questão é: vale a pena pesquisar um milhão ou dez milhões de pessoas para obtermos um resultado muito parecido? A Lei dos Grandes Números mostra que não, pois os ganhos na precisão da estimativa são grandes no começo, mas vão declinando drasticamente conforme a amostra aumenta de tamanho. A partir de um tamanho N de amostra, os custos de coleta aumentam sem que isso signifique num declínio significativo na margem de erro. É o que chamamos de rendimentos marginais decrescentes. A questão do tamanho da amostra é mais complexa, pois depende dos recursos existentes, do nível de significância e margem de erro desejados e do quão sério é obter um resultado equivocado.

A amostra de um ensaio clínico randomizado para um estudo sobre vacinas deve ser muito maior do que a amostra de uma pesquisa eleitoral, pois as implicações do erro são muito mais graves. É por isso que as amostras das pesquisas eleitorais nacionais registradas no TSE têm variado entre 1500 e 2500 indivíduos, dependendo da metodologia utilizada e do rigor desejado. Se bem selecionada, aceitamos pela Lei dos Grandes Números que os resultados encontrados, com um grau “X” de probabilidade, refletirão as características e opiniões dos eleitores.

E o que é o tal de nível de significância, que também entra no cálculo do tamanho da amostra? O que significa, por exemplo, um nível de significância de 95%? Significa que, se realizarmos 100 pesquisas utilizando exatamente os mesmos procedimentos metodológicos, em 95 delas encontraremos resultados que estarão contidos dentro da margem de erro estipulada (por exemplo, 2% para mais ou para menos). Note-se que novamente, aqui, estamos falando de resultados probabilísticos e assume-se que em cinco delas os resultados obtidos podem cair fora desta margem. Esse é um dos fatores que explica a variabilidade dos resultados das pesquisas, mesmo quando realizadas pelo mesmo instituto e usando a mesma metodologia. E, como no caso da margem de erro, se desejamos aumentar o nível de significância – digamos, para .99 – é necessário aumentar (e muito) o tamanho da amostra. E aqui entram novamente em consideração as questões de custo, gravidade do equívoco, tempo e outros fatores. Por isso, para as pesquisas de opinião é muito comum encontrar estas convenções: margem de erro entre 2% e 5%, nível de significância de 95%, amostras nacionais em torno de 2.000 casos etc. Trata-se de uma relação custo-benefício que se avaliou como adequada. É lógico que teríamos estimativas mais precisas e menor variabilidade nos resultados se coletássemos amostras maiores. Mas teríamos certamente menos pesquisas e prazos mais longos de elaboração e divulgação.

Critérios parecidos são seguidos não apenas no Brasil, mas em boa parte dos países onde a opinião pode ser livremente perguntada. Eles são adequados? Aparentemente sim e no caso das pesquisas eleitorais temos a felicidade de conseguir validar externamente os resultados, comparando-os, na chegada, com os resultados obtidos nas urnas. Na maioria das vezes os resultados estimados pelas pesquisas se aproximam, dentro da margem de erro, dos resultados das eleições. E o mercado, neste caso, atua como um filtro. Os institutos que erram feio e consecutivamente tendem a ser penalizados, restando os que produzem resultados mais consistentes e robustos.

Não obstante a série de dificuldades apontadas aqui, não faz sentido, portanto, “não acreditar em pesquisas” por conta das oscilações nos resultados. Até porque, hoje é comum encontrar agregadores de pesquisas que ponderam os resultados, diminuindo esta variabilidade. Na dúvida, opte pelas amostras maiores, pelas metodologias presenciais e leia o anexo metodológico que todas são obrigadas a registrar no TSE. Simplesmente rechaçar todas as pesquisas generalizadamente é o mesmo que não acreditar em vacina ou em que o aquecimento global tem causas humanas. Por traz destas negações não estão as evidências, mas antes a ideologia e a política.


ˇ

Atenção!

Esta versão de navegador foi descontinuada e por isso não oferece suporte a todas as funcionalidades deste site.

Nós recomendamos a utilização dos navegadores Google Chrome, Mozilla Firefox ou Microsoft Edge.

Agradecemos a sua compreensão!