Em Frente Brasil: sugestões para uma metodologia de avaliação

Compartilhe
TwitterFacebookWhatsApp

ARTIGO

 

 

 

Tulio Kahn, sociólogo e colaborador do Espaço Democrático

 

Políticas públicas têm custos para a sociedade e precisam ser sistematicamente avaliadas. Esse é um dos motivos pelos quais o poder público, menos frequentemente do que deveria, executa projetos-piloto antes de implementar alguma política em larga escala. A ideia, tomada de empréstimo das ciências experimentais, é que o projeto-piloto consiga identificar os erros e acertos, fornecer uma estimativa de valores envolvidos, do impacto sobre os indicadores que se almeja modificar, tudo antes da adoção universal.

Este é o caso, por exemplo, do projeto Em Frente Brasil, de iniciativa do Ministério da Justiça. Trata-se de um projeto-piloto iniciado em cinco municípios com o objetivo de reduzir a criminalidade violenta por meio de uma nova metodologia, que aposta na prevenção social e repressão qualificada, integração entre os diversos atores em diferentes níveis de governo, diagnóstico local da criminalidade, contratos locais com os municípios etc. Detalhes sobre o projeto podem ser facilmente obtidos no site do Ministério da Justiça e não carece descrevê-los aqui.

A intenção de fazer um projeto piloto é louvável e muitas vezes o poder público inicia políticas públicas em larga escala sem uma avaliação prévia de custos e impactos. Mas um projeto-piloto só se presta à sua finalidade se for executado com rigor, pois do contrário pode induzir a resultados equivocados. Dito isso, uma primeira dificuldade para a avaliação do projeto Em Frente Brasil, que gostaria de destacar, é sua natureza não controlada nem randomizada. Os municípios que são parte do projeto foram intencionalmente selecionados por terem elevadas taxas de homicídios entre 2015 e 2018, estarem em regiões metropolitanas, em Estados e municípios que concordaram em colaborar com o projeto federal, entre outros critérios. Trata-se, portanto, de uma amostra não aleatória e para a qual não foi criado ex-ante um grupo de controle. Estas características da amostra tornam bastante difícil para o analista discernir se os eventuais efeitos se devem às ações colocadas em prática pelos governos ou a alguma destas características particulares consideradas na seleção. Não existe um “contrafactual” claro com relação ao qual possamos comparar a evolução da criminalidade para nos assegurarmos que se deveram ao projeto.

Olhando os dados até aqui, sabemos que os homicídios (aparentemente roubo também) estão em queda nestes cinco municípios que fazem parte do Em Frente Brasil, quando comparamos o ano de 2019 com 2018. Mas esta tendência de queda já vinha ocorrendo antes. Ela ocorre igualmente ou mais intensamente em diversos outros municípios que não fazem parte do projeto-piloto. Como podemos então garantir que não estamos diante de uma associação espúria, se não estamos controlando inúmeros fatores, existe viés de seleção na escolha dos integrantes do programa e não temos um bom contrafactual?

Metodologia para tornar a avaliação mais robusta

É muito comum para os pesquisadores se depararem com situações como estas quando uma nova lei é promulgada, uma política pública é iniciada, um novo fenômeno se manifesta repentinamente. Raramente, nestes casos, toma-se o cuidado ou tem-se a possibilidade de pensar num design experimental ou amostras aleatórias e os analistas são instados a posteriori a se pronunciar sobre o impacto das medidas, leis e fenômenos de interesse. Para estes casos foram pensadas as estratégias quase-experimentais.

Foi pensando nestas situações que foram criadas diversas estratégias metodológicas, como a análise de séries temporais interrompidas, a construção dos “grupos sintéticos” ou o pareamento de casos a posteriori. Em todos estes casos procura-se simular qual teria sido o resultado caso a intervenção não tivesse ocorrido e em seguida compara-se o resultado previsto pelo modelo com o resultado realmente obtido. Num resumo bastante simplista conclui-se pela significância ou insignificância do impacto, conforme a magnitude das diferenças entre o esperado e o observado. Assim, por exemplo, conclui-se pela eficácia do Estatuto do Desarmamento, pois pensando contrafactualmente, os homicídios teriam provavelmente crescido, conforme as tendências anteriores a 2003, numa intensidade bem maior do que de fato cresceram. Ou pela eficácia da Lei Seca, pois os homicídios caíram mais nas cidades que as adotaram, quando comparados com cidades similares.

Não vou me debruçar aqui sobre todas as estratégias disponíveis, mas apenas dizer que é possível simular experimentos e exercer controles a posteriori, de modo a conferir maior robustez à análise de impactos. Especificamente no caso do projeto piloto Em Frente Brasil, uma possível estratégia é encontrar municípios similares aos cinco do programa (grupo focal) e observar as tendências dos homicídios neste grupo que chamamos de pareado. Em outras palavras, para cada um dos cinco municípios que estão no programa, trata-se de encontrar um “par” que não faça parte do programa. Infelizmente, encontrar estes municípios similares não é tão simples como parece. Similares com relação a quê? Quais variáveis devemos selecionar, que tenham relação com o fenômeno de interesse, neste caso os homicídios? Que método de pareamento adotar quando falamos de muitas dimensões diferentes? Como tratar estas variáveis? Como saber se criamos um bom grupo pareado? Para encontrar os municípios pareados utilizamos um algorítimo K-nn (vizinhos mais próximos), depois de escolher as variáveis por meio de uma regressão linear usando a taxa de homicídios de 2018 como variável dependente e de reduzir a dimensionalidade dos dados por uma análise de componentes principais.

Resumindo os achados, a análise de vizinhos mais próximos sugere que o grupo Em Frente Brasil, formado pelos municípios Paulista, Goiânia, Cariacica, São José dos Pinhais e Ananindeua pode ser pareado com um grupo formado pelas cidades “vizinhas” Cachoeirinha, Sinop, Teresina, Macaé, João Pessoa e Foz de Iguaçu. Não se trata de proximidade espacial, mas sim de proximidade com relação à um grupo de variáveis, que por sua estão linearmente correlacionadas a taxa de homicídios.

Aceita a premissa de que os municípios EFB são razoavelmente similares aos municípios pareados, o passo seguinte seria comparar as tendências dos homicídios antes e depois do programa. Uma questão que precisa ser pensada é: desde quando o programa começa a fazer efeito? Oficialmente, o programa começa apenas em setembro de 2019, mas o anúncio dos municípios participantes e as mobilizações locais começaram já no segundo trimestre de 2019. O anúncio e a mobilização dos agentes municipais e estaduais nestas cidades podem provocar efeitos positivos antes mesmo da entrada dos recursos federais em setembro, antecipando um pouco os efeitos do programa. Estamos considerando aqui os dados de julho em diante, supondo que os efeitos começam a se manifestar pouco antes do início oficial do programa.

No quadro abaixo vemos as quantidades de homicídios dolosos nos diferentes grupos de municípios, tomando o período de julho a outubro de 2018 e 2019. No grupo EFB os homicídios caem de 340 para 194 (-43%), no grupo aleatório passam de 228 para 207 (-9%) enquanto no grupo pareado caem de 272 para 209 (-23%).

As diferenças entre os períodos pré e pós tratamento entre o grupo tratado e o grupo controle são estatisticamente significativas, em contraste com o observado quando utilizamos o grupo aleatório como controle.

Os dados iniciais sugerem, portanto, que algo de diferente está ocorrendo nos municípios EFB e que o projeto federal é provavelmente o responsável por isso.

O último dado divulgado para os homicídios dolosos é para outubro de 2019 e os dados sobre os demais crimes não estão disponíveis por município, de modo que não é possível aprofundarmos a análise nem chegar a uma conclusão mais robusta sobre o impacto do programa federal. A intenção do artigo tampouco era essa, mas antes a de pensar em estratégias e metodologias que permitam uma avaliação mais adequada do projeto, introduzindo um grupo pareado a posteriori para melhorar a avaliação dos resultados. Se o método sugerido não produziu um grupo de municípios comparável, é possível pensar em outras metodologias, mas algo precisará ser proposto neste sentido. Caso contrário qualquer conclusão será frágil.

Como antecipado, há várias outras questões não resolvidas e que precisam ser investigadas antes de formarmos um veredito sobre o projeto. Ainda é cedo para dizer se funciona. O governo defende sua iniciativa enquanto alguns analistas começam a questionar os poucos dados disponíveis. Em ambos os casos, avalio que as conclusões são frágeis pela precocidade e por deficiências metodológicas.

O programa Em Frente Brasil parece ser de longe a melhor iniciativa tomada pelo atual governo federal na esfera da segurança pública. Como cidadãos, podemos gostar ou não do governo de plantão e já adianto – para que os leitores possam fazer seu julgamento do artigo – que tenho sérias reservas a ele, principalmente pela postura com relação à flexibilização das armas de fogo, que pode colocar a perder os eventuais ganhos do Em Frente Brasil. Mas como cientistas temos que nos ater às evidências, sine ira et studio – como recomendava o velho Max Weber. O risco é jogarmos fora um projeto que pode ser promissor, num país com uma quantidade enorme de mortes.

A versão completa do estudo pode ser lida aqui.

  0 Comentários

  Publicações

  Para pensar