Conheça avaliações como Enem e Pisa. E algumas armadilhas

04/07/2016

Ainda que possam estar escondidos, hoje há dados para praticamente qualquer coisa que o jornalista queira analisar em educação.

Há informações quantitativas ou qualitativas do País, de Estados, de municípios, de escolas, de faculdades ou de cursos universitários. Elas ajudam a atenuar o “efeito achismo” da análise.

O efeito colateral é o uso dos dados de forma indiscriminada e sem reflexão.

Este texto pretende ajudar a destrinchar o emaranhado de dados e de siglas no ensino básico, ou seja, da creche ao ensino médio. E também mostrar algumas armadilhas que o jornalista pode evitar nesse campo (ou que ao menos exigem reflexão antes da divulgação).

Em breve, novos textos da Jeduca vão se aprofundar em diversos aspectos das avaliações. Por ora, algumas dicas:

DADOS QUANTITATIVOS

• O Censo Escolar, do Ministério da Educação, traz dados como número de escolas, de estudantes ou de professores da educação básica (infantil, fundamental e médio). Ele é atualizado anualmente pelo Ministério da Educação. O dado mais novo costuma ser o do ano anterior. Em 2016, por exemplo, as informações mais recentes se referem a 2015. Há dados nacionais, por Estado e por rede (pública e particular).
• A Pesquisa Nacional por Amostra de Domicílios (Pnad), feita pelo IBGE, é divulgada anualmente, geralmente em setembro. Por ser um levantamento que permite o cruzamento de dados educacionais com outras variáveis sociodemográficas, esta é a pesquisa mais utilizada para se verificar o percentual de crianças numa determinada faixa etária fora da escola ou a proporção de analfabetos na população adulta. A Pnad tem também uma divulgação mensal, porém restrita a dados de trabalho e rendimentos. 
• O Education at a Glance, da OCDE, traz dados comparativos entre países. Quantos estudantes se formam no ensino médio? Qual a proporção de adultos com nível superior completo em diferentes países? Qual o gasto anual por estudante? Quanto tempo os estudantes ficam em sala de aula? Está tudo lá. É preciso considerar que, no caso das estatísticas da OCDE, apenas um conjunto de países participa. No caso, são, em sua maioria, nações desenvolvidas. 
• O Censo da Educação Superior, também realizado pelo Ministério da Educação, traz dados de matrículas, número de professores, sua formação, cursos universitários, e outras estatísticas relativas ao ensino superior. Ele costuma ser divulgado no último trimestre do ano, com dados relativos ao ano anterior.  

DADOS QUALITATIVOS - ensino fundamental

• A Prova Brasil é a avaliação mais abrangente do ensino básico. É aplicada a cada dois anos, para todos os estudantes de 5º e 9º anos da rede pública, com provas de português e de matemática. Há dados nacionais, por Estado, por município e por escola. A rede particular participa de forma amostral (não há detalhamento por escola).
• Ideb (Índice de Desenvolvimento da Educação Básica) é um índice que unifica a Prova Brasil com a taxa de aprovação de estudantes. É o principal indicador de qualidade da educação básica. Quanto maior a nota de português e de matemática e o número de estudantes que passa de série, maior o Ideb. Ele tem essa fórmula porque se os estudantes são aprovados mesmo com pouco conhecimento, o Ideb cai (a nota na Prova Brasil tende a ser baixa). Também cai o Ideb se a reprovação e/ou abandono for alto, mesmo que as notas na Prova Brasil sejam altas. País, Estados, municípios e escolas têm metas bianuais. O não cumprimento não implica em sanção, mas causa desgaste político.
• Provinha Brasil, ou Avaliação da Alfabetização Infantil, avalia o nível de leitura, escrita e alfabetização dos estudantes no 3º ano do ensino fundamental em provas de português e matemática. É esta avaliação que permite dizer, por exemplo, qual a proporção de alunos desta série que têm nível adequado de alfabetização, ou conhecimentos adequados em matemática. É a mais recente avaliação do MEC, e a divulgação dos resultados ainda é inconstante.
• Diversos Estados, como Ceará e São Paulo possuem seus próprios sistemas de avaliação (nos casos citados são, respectivamente, o Spaece e o Saresp). Em geral, usam a mesma metodologia das avaliações nacionais.
• Pisa é a avaliação mais abrangente internacionalmente. Compara estudantes de 15 anos de dezenas de países, em leitura, matemática e ciências. É aplicado a cada três anos pela OCDE. Por ser um exame da entidade, assim como acontece com as estatísticas do Education at a Glance, o Pisa tende a comparar, majoritariamente, países desenvolvidos. Na última edição, referente ao ano de 2012, foram 65 nações comparadas. Mais do que um ranking, o Pisa permite investigar características dos melhores sistemas educacionais do mundo, e compará-los com os resultados de países que não se saem tão bem no levantamento.

DADOS QUALITATIVOS - ensino médio

• Enem é a avaliação mais abrangente dessa etapa, mas com algumas sérias limitações quando se trata de avaliar a qualidade do ensino como um todo. Há resultados nacionais, por Estado, por município e por escola, das redes pública e particular. O exame, anual, não é obrigatório, mas, como vale como processo de seleção de calouros universitários, tem forte adesão entre os formandos do antigo colegial. É possível fazer rankings de escolas ou de sistemas. Essa possibilidade é vista por alguns especialistas como uma forma de conhecer mais os colégios e redes; outros entendem ser uma informação prejudicial, pois dá excessivo peso a apenas um dos papeis da escola (transmitir conteúdo), em detrimento de outras habilidades (formação cidadã e artística, por exemplo). Mesmo sendo um exame que mobiliza milhões de estudantes num ano, um fator importante a considerar no caso do Enem é que seus resultados não são representativos do total de estudantes que terminam o Ensino Médio pois trata-se de um exame voluntário.
• Aneb/Saeb - Para um retrato mais representativo do ensino médio, o melhor é verificar os resultados dos alunos no Sistema de Avaliação da Educação Básica, também conhecido como Avaliação Nacional da Educação Básica. Faz parte desse sistema a Prova Brasil, mas, no caso do ensino médio, os resultados são apenas amostrais. Isso significa que não é possível verificar o resultado de escolas nem de municípios. Mas é possível comprar a evolução do aprendizado nos estados. A vantagem do Saeb em relação ao Enem é que a amostra dos estudantes é feita para ser representativa do país. O Saeb também permite avaliar o desempenho de alunos do sistema privado, mas não é possível ver o resultado de cada escola. Pelo Saeb e pelo Censo Escolar, o MEC calcula também resultados do Ideb referentes ao ensino médio.

AS ARMADILHAS

Os dados objetivos são fundamentais para se entender a situação de um sistema ou de uma escola. Mas pode haver aspectos importantes escondidos que, se desconsiderados, levam a injustiças. Algumas delas:

• Quem são as últimas escolas ou redes num ranking? Antes de expor esses nomes, vale entender um pouco melhor quem eles são. Não raro, os últimos colégios ou redes da lista atendem estudantes com dificuldades extremas. Vale a pena expô-los?
• Quem estou analisando? O aspecto que mais pesa num resultado de avaliação é a condição socioeconômica dos estudantes. Isso quer dizer que uma escola que está no topo do ranking pode estar ali basicamente porque tem alunos mais ricos, não porque tem um bom ensino. Por outro lado, quem está embaixo pode estar ali porque tem alunos pobres, mesmo que faça um ótimo trabalho. A divulgação do Pisa (para países) e mais recentemente do Enem (sistemas e escolas brasileiras) traz informações sobre o perfil socioeconomico dos estudantes, o que ajuda a dar mais contexto para as notas dos alunos. Comparar escolas que atendem perfis de alunos muito diferentes do ponto de vista socioeconômico pode levar a interpretações equivocadas de que uma escola seja melhor do que a outra. 
• Qual é a variação do que se está analisando? Uma escola ou uma rede pode estar com uma nota baixa, o que, claro, não é bom. Mas ela pode estar numa boa evolução, ou seja, seu desempenho tem melhorado ano a ano. Isso deve ser considerado na edição da reportagem.
• Uma boa nota é tudo? Hipoteticamente, se uma escola colocar toda sua carga horária para treinar os estudantes para fazer testes semelhantes aos do Enem ou da Prova Brasil, provavelmente as notas vão subir. Mas será que essa é uma boa educação? Será que uma boa formação não exige contato com conhecimentos fora do âmbito das avaliações (que basicamente consideram leitura, matemática e ciências)?  

*Fábio Takahashi é vice-presidente da Jeduca e editor-adjunto na Folha de S. Paulo