O Inep liberou na sexta-feira (30/09) para a imprensa os dados do Enem (Exame Nacional do Ensino Médio) por escola, com o compromisso de que os jornalistas só publiquem reportagens na terça-feira (4/10). Esses dados dão origem aos famosos rankings elaborados pela imprensa, tão criticados por boa parcela dos educadores – ainda que despertem grande interesse da sociedade.
Para você se preparar melhor para a cobertura, a Jeduca relacionou alguns tópicos que precisam ser levados em consideração quando se fala em Enem por escolas. Outro serviço oferecido pela associação é a consultoria da editora pública Marta Avancini, que está à disposição para trocar informações e orientar jornalistas de todo o Brasil, associados da Jeduca ou não. Marta pode ser localizada pelo e-mail editorpublico@jeduca.com.br ou pelo telefone/Whatsapp (19) 98800-1747. Vamos aos tópicos:
Representatividade do Enem
Por ser a avaliação que mais recebe atenção dos leitores, o Enem por vezes é utilizado como parâmetro da qualidade do ensino de todo o ensino médio. Este é um erro cometido com frequência por jornalistas e às vezes até divulgado equivocadamente por governos (quando o resultado é positivo para eles). Ao contrário do Saeb (Sistema de Avaliação da Educação Básica), que mede o aprendizado em testes de português e matemática e é levado em conta no cálculo do Ideb (Índice de Desenvolvimento da Educação Básica), o Enem é um exame voluntário. Mesmo que tenha ganho dimensões gigantescas (com mais de 8,6 milhões de inscritos este ano), nem todos os estudantes participam dele, o que limita sua representatividade. E é bem provável que os alunos que deixam de fazer o Enem sejam estudantes com menor desempenho acadêmico, que não pretendem ingressar no ensino superior. Basta lembrar que em escolas públicas de áreas vulneráveis a taxa de participação no exame é bem menor do que em colégios de elite particulares. Para obter um diagnóstico mais preciso do ensino médio, a melhor ferramenta, apesar de suas limitações, é o Ideb, divulgado no dia 8.
Peso do nível socioeconômico na nota das escolas
Na avaliação educacional, uma das evidências mais consolidadas é a de que o nível socioeconômico dos alunos (principalmente renda e escolaridade dos pais) é o fator que tem mais impacto na nota de uma escola. Pesquisas nacionais e internacionais estimaram esse impacto em pelo menos 60%. Isso significa que a maior parte da diferença entre escolas de elite e as que atendem um aluno de menor renda é explicado por fatores que nada têm a ver com o ensino. Um colégio privado que cobra altas mensalidades não deve, portanto, ser comparado acriticamente com uma escola pública que atende estudantes muito pobres. Uma escola com piores médias no Enem pode, inclusive, ser melhor do que outra com melhor posição nos rankings, pois trabalha com alunos com maiores dificuldades de aprendizagem, e fazem eles chegarem a um patamar muito mais elevado do que se esperaria, a considerar o background familiar. Vale atentar que o Inep passou a divulgar recentemente o Inse (Indicador de Nível Socioeconômico das Escolas de Educação Básica) para permitir comparações mais precisas – mesmo que ainda não sejam perfeitas – entre escolas que atendem o mesmo perfil de estudante.
Truques
A posição nos rankings elaborados pela imprensa a partir do Enem passou a ser usada por algumas instituições privadas como peça de propaganda. Para ganharem destaque, alguns estabelecimentos passaram a adotar estratégias bastante questionáveis. Uma delas é a “criação” de unidades pequenas com os melhores alunos (que muitas vezes são apenas separados em duas ou mais salas, no mesmo espaço físico dos demais), que levarão o nome da escola ao topo do ranking, mesmo que outras unidades do mesmo grupo não estejam tão bem colocadas. Uma maneira de o jornalista verificar isso é olhar para o número de alunos que fizeram o exame. Se uma escola aparece nas primeiras colocações com apenas 40 alunos, isso precisa ser levado em conta na comparação com outra onde, por exemplo, 200 fizeram o exame. O Inep buscou contornar essa distorção divulgando em 2014 e 2015 informações sobre o desempenho dos 30 melhores alunos de cada escola. Com esses dados, a participação de unidades com menos de 100 estudantes entre as 50 mais bem colocadas no ranking nacional caiu de 19 para 5. De qualquer forma, mesmo que não haja nenhuma ação deliberada para ter uma unidade bem colocada no exame, é importante o jornalista analisar a posição de todas as escolas de um grupo de ensino no levantamento, para que o leitor tenha noção de que, mesmo dentro de uma única rede, os resultados podem variar bastante.
Oscilações no ranking
Às vezes, jornalistas e pais dão demasiada importância a variações nas notas ou em posições de rankings, como se eles fossem muito significativas, quando na verdade podem estar também sujeitas a margens de erro. Assim, se uma escola de uma cidade como São Paulo está na 40ª posição do Enem em um ano e na 60ª posição na edição seguinte, não se pode afirmar que seu desempenho tenha piorado. Aliás, quanto mais uma escola está em uma posição intermediária no ranking, mais sujeita ela fica a variações que podem ser atribuídas à margem de erro.
Escolas públicas
Um fator que normalmente é deixado em segundo plano quando se faz rankings de escolas públicas é se elas adotam ou não mecanismos de seleção dos alunos, como vestibulinhos – caso de escolas federais e técnicas estaduais que sempre aparecem bem nos rankings. Mas é injusto comparar escolas que atendem todo tipo de estudante com aquelas que admitem apenas os de bom rendimento, numa situação semelhante à de comparar escolas com públicos muito diferentes em nível socioeconômico. Embora o Enem não traga informações sobre se a unidade adota mecanismos de seleção, essa é uma pergunta que não pode faltar quando o jornalista fizer o perfil de uma escola pública bem situada no ranking.
Reprovação
Além das médias no Enem, o Inep costuma divulgar mais informações sobre cada escola, mesmo as particulares. Esses dados são de acesso mais difícil, pois é preciso baixar um arquivo no site do instituto. Mas, nessas tabelas, é possível por exemplo saber qual a taxa de reprovação de alunos em cada ano do ensino médio. Isso é relevante pois uma outra maneira de uma escola aparecer bem no ranking do Enem é fazer uma espécie de peneira, deixando chegar ao 3º ano do ensino médio apenas os melhores alunos. Muitos colégios reprovam quem não passa por esse filtro, chegando a expulsar estudantes de desempenho mais baixo (ou sugerindo às famílias que os mudem de escola). O pai pode até concordar com essa política, mas os jornais podem prestar um serviço se deixarem claro também quais as taxas de reprovação em cada escola. Esses e outros dados são disponibilizados pelo Inep no endereço http://portal.inep.gov.br/indicadores-educacionais. Para ver a taxa de reprovação em cada escola, o jornalista deve baixar a planilha Taxas de Rendimento, no arquivo de escolas.
Permanência na escola
Dentro desse mesmo espírito, o Inep criou outra variável, o IPE (índice de Permanência na Escola). Quanto mais alto o IPE, maior a porcentagem de alunos que cursaram os três anos do nível médio em uma determinada escola. O índice atenua o efeito de políticas de atração de estudantes de alto rendimento durante o ensino médio, com a concessão de bolsas e outras vantagens, por parte de escolas que querem se destacar nos rankings. Se uma escola tem um percentual baixo de alunos que estudaram lá nos três anos do ensino médio, este é um indicativo de que ela pode trabalhar com oferta de bolsas no último ano para atrair os melhores alunos de outros colégios.
Formação dos professores
Outra planilha específica que o Inep também coloca à disposição no site trata da formação dos professores. Eles são agrupados em cinco grupos, desde os que têm bacharelado na disciplina que lecionam (situação desejável) aos que não têm curso superior, passando pelos que têm formação adequada, mas não na área em que atuam. É mais um fator importante a considerar na análise da qualidade, principalmente em desdobramentos da cobertura do Enem por escola. Esses dados também são acessados pelo link http://portal.inep.gov.br/indicadores-educacionais. No mesmo endereço há uma série de outros indicadores que o Inep produz com dados por escola, mas que são pouco explorados pela imprensa, como a média de alunos por turma, regularidade do corpo docente, complexidade da gestão de uma escola, entre outras.
Provas não medem tudo
Por fim, e talvez mais importante, é fundamental informar que notas de alunos em testes não devem ser o único critério para avaliar uma escola. Testes de aprendizagem, por melhor ou pior que sejam, não captam por exemplo habilidades que estudos mostram ser tão ou mais importantes para o sucesso na vida adulta quanto o desempenho de um jovem numa prova. É o caso, apenas para dar um exemplo, das habilidades socioemocionais, como a capacidade de trabalhar em grupo, lidar bem com as frustrações e superar obstáculos, entre outras características valorizadas socialmente. Outra questão a ser considerada é que uma escola pode ter resultados melhores excluindo ou fechando suas portas para alunos com necessidades especiais apenas para não ter seus resultados comprometidos. Isso pode melhorar a posição num ranking, mas tira de todos os estudantes a possibilidade de aprender a conviver com a diversidade no ambiente escolar.
Por tudo isso, um jornalista que escreve sobre o Enem por escola precisa estar ciente das limitações dessa avaliação – e informar o leitor sobre elas. Os rankings têm aspectos condenáveis, como distorções e uso como instrumento de marketing, mas podem também contribuir para estimular o debate sobre a qualidade, além de dar aos pais ao menos um elemento objetivo sobre o desempenho dos alunos de uma escola no exame. Até porque, com as variáveis introduzidas pelo Inep ao longo dos anos, já há condições de fazer análises mais sofisticadas. Boa cobertura!
