Como sempre ocorre na divulgação de dados do Ideb ou do Enem por escola, jornalistas são inundados por um volume de dados de resultados de municípios, Estados e escolas. É comum que, ao tentar organizar todas essas informações, o repórter primeiro tente ordenar escolas ou redes em rankings, do maior para o menor. Com isso, jogamos luz sobre os extremos. A escola com melhor Ideb do país, a cidade com “a pior educação” do Brasil, e por aí vai. É natural que o jornalista e o leitor tenham curiosidade de saber quem está no topo ou na rabeira. Trata-se também de uma informação pública, e não faz sentido escondê-la.
Porém, um dos perigos de olhar demais para os extremos é que os resultados no topo ou na rabeira, isoladamente, dizem pouco a respeito do que precisamos fazer para melhorar a qualidade do ensino. E, pior, às vezes tendem a ser enganosos, jogando na cobertura várias cascas de banana para o jornalista que cobre educação.
Como já estamos na quinta divulgação do Ideb, já deu tempo de aprendermos com nossos próprios erros. Duas cidades que foram destaque no Ideb de 2005 nos mostram bem isso: Barra do Chapéu (SP) e Ramilândia (PR). Essas foram, respectivamente, as cidades com melhor e pior Ideb do Brasil na ocasião. Em ambos os casos, foi um resultado surpreendente, que contraria muito do que sabíamos previamente sobre fatores que impactam a qualidade do ensino.
Do topo ao meio do ranking
Barra do Chapéu é um pequeno município paulista, que teve naquele ano apenas uma escola avaliada. Por isso, o resultado da cidade, na verdade, era o resultado de uma única escola. O que soava estranho nos resultados de Barra do Chapéu era que o município está localizado no Vale da Ribeira, uma das regiões mais pobres de São Paulo. Apesar da dificuldade, a rede municipal (na verdade, uma única escola) conseguiu um Ideb de 6,8 no 5.º ano do ensino fundamental.
Seduzidos por essa bela história, todos os grandes jornais, sem exceção na época, foram visitar a cidade. Produzimos várias reportagens sobre “o milagre de Barra de Chapéu”, a “receita de sucesso”, um exemplo a ser seguido pelo país. Uma busca no Google por reportagens da época mostrará várias teses sobre o sucesso da cidade: um olhar atento ao aluno, uma parceria com uma universidade privada, valorização do professor, uso de materiais estruturados, um número pequeno de alunos por turma... Produzimos teses para todos os gostos, à esquerda e à direita do campo educacional.
Acontece que, no Ideb seguinte, os resultados de Barra do Chapéu jogaram a cidade para bem longe do topo do ranking. E assim continuou nas edições seguintes. Em 2013, o resultado de Barra do Chapéu era de 4,8. Não é absurdo nem vergonhoso, considerando que a cidade atende alunos de menor nível socioeconômico no contexto paulista. Mas fica longe de ser um caso de sucesso a ser replicado pelo país. Em 2012, a repórter Tatiana Farah, do Globo, voltou a Barra do Chapéu para contar melhor a história do que aconteceu na cidade. Recomendo a leitura da reportagem aqui e aqui.
Erros na medida
Se Barra do Chapéu foi o destaque positivo no Ideb de 2005, o negativo ficou por conta de Ramilândia, pequena cidade do oeste do Paraná. Numa escola que varia de 0 a 10, a cidade ostentava um Ideb de míseros 0,3. Um desastre educacional. De posse dos dados embargados, todos os jornais foram entrevistar o prefeito da cidade para saber como uma cidade de um Estado relativamente rico para padrões nacionais conseguia ter resultados educacionais tão trágicos. O prefeito e o secretário de Educação de lá deram várias entrevistas confirmando o resultado. Tinham acabado de assumir o município, e jogaram a culpa nas gestões anteriores. A reportagem portanto estava redonda: o dado era oficial, e não havia contestação do município. Mas não era bem assim.
Eu estava na Folha de S. Paulo naquela época, trabalhando com Fábio Takahashi na cobertura desses dados. Lembro-me de termos comentado que era um resultado muito estranho, e fomos abrir os dados do Ideb, já que o índice combina taxas de aprovação com o desempenho de alunos medidos em testes de português e matemática. O que puxava para baixo o resultado de Ramilândia era sua absurda taxa de reprovação: 93% de alunos reprovados. Voltamos então a falar com o secretário de Educação local. Afinal, se aquilo fosse verdade, a história a ser contada era outra: como uma cidade pode ser tolerante com um sistema que reprova nove em cada dez alunos. Como suspeitávamos, não era bem assim. Havia um erro no dado. Na verdade, a taxa de reprovação era de 7%, e 93% era o percentual de aprovados. O dado estava trocado, pois os números do censo haviam sido preenchidos de forma equivocada pelo município.
Depois do episódio de Ramilândia, o Inep passou a divulgar com antecedência os resultados, para que os municípios apontassem inconsistências como essas. Mas, apesar desse aperfeiçoamento, a lição que fica para nós, jornalistas, é de que os resultados dos extremos podem ser extremamente enganosos. E não apenas por erros de preenchimento. Na avaliação educacional, pesquisadores que lidam com grande volume de dados estatísticos sabem que há vários possíveis erros de medida, especialmente quando olhamos para os pontos fora da curva. E, quando falamos de escola, sabemos que um professor ou uma turma com perfil diferente podem fazer muita diferença.
A lição que aprendi desses episódios foi de prestar mais atenção nos resultados de escolas e municípios, e de desconfiar de fórmulas milagrosas ou receitas simples de sucesso. Agora que temos em mãos uma série histórica razoável, procuro sempre olhar para a tendência dos anos anteriores. Se uma escola ou rede vêm apresentando melhoras sucessivas e constantes, esse resultado é muito mais confiável do que o de um estabelecimento ou município que, mesmo acima do ranking, apresentam resultados inconstantes, com grandes oscilações.
Melhorar a qualidade do ensino é uma tarefa urgente da sociedade brasileira. Para isso, precisamos entender o que dá certo e o que está dando errado em nossas escolas, e quais fatores internos e externos estão contribuindo para aquele resultado. O papel do jornalismo nessa tarefa é essencial. Mas, olhando apenas para os extremos de rankings, podemos atrapalhar mais do que ajudar.
