Não há indicador único que seja capaz de dar conta da complexidade do ambiente escolar. Seja qual for o resultado do esforço educacional que se pretende mensurar, ele certamente dará conta de apenas uma parte da pista para entendermos como os alunos estão se desenvolvendo. Feita essa ressalva, cabe registrar como nos últimos 25 anos passamos a ter um número muito maior de instrumentos que tentam captar alguma dimensão do processo educacional.
Hoje, qualquer jornalista que trabalhe com educação precisa conhecer um mínimo sobre os principais instrumentos de avaliação, bem como suas limitações e as disputas de narrativas que tendem a gerar na área. Para facilitar o entendimento, faremos uma apresentação básica das principais pesquisas que trazem dados educacionais, divididas em três categorias, de acordo com a fonte de dados: 1) IBGE; 2) Inep/MEC; 3) Unesco e OCDE.
*Este texto foi adaptado do módulo “Como se avalia a educação”, do curso Jornalismo de educação: bases para a cobertura, realizado pela Jeduca em parceria com a Abraji
O IBGE é o principal fornecedor de dados estatísticos de toda a sociedade brasileira. O instituto realiza algumas poucas pesquisas focadas exclusivamente em educação, mas inclui esta variável em praticamente todas as suas grandes pesquisas de conjuntura nacional. A característica mais marcante das informações educacionais produzidas pelo IBGE é que elas são coletadas na população como um todo, e não apenas na população que está frequentando a escola. Esta característica é muito importante pois, somente pelas estatísticas do IBGE, é possível, por exemplo, saber quantas crianças e jovens estão fora da escola, um dado que, obviamente, não conseguiríamos obter apenas contando os alunos que estão matriculados em alguma instituição de ensino. Várias das dimensões que constam de metas do Plano Nacional de Educação, aprovado pelo Congresso em 2014, só conseguem ser monitoradas pelas pesquisas do IBGE. Abaixo, segue uma lista e uma descrição sucinta das principais pesquisas com dados educacionais do instituto.
PNAD (Pesquisa Nacional por Amostra de Domicílios)
Como o próprio nome indica, a Pnad é feita a partir de entrevistas numa amostra de domicílios escolhidas para ser representativa de todo o Brasil. Sua frequência é anual. A pesquisa passou por uma mudança de metodologia desde 2016, então a série histórica comumente divulgada pelo IBGE costuma ter dados apenas a partir desse ano. No entanto, como os indicadores educacionais variam pouco de um ano para o outro, é possível, com o devido cuidado, analisar tendências de mais longo prazo usando também os dados antes de 2016.
O IBGE costuma divulgar anualmente, em publicação à parte, os principais dados educacionais calculados a partir da Pnad. Um dos mais básicos e importantes é a taxa de analfabetismo da população adulta, calculada a partir da proporção de pessoas que afirmam serem capazes de lerem e escreverem um bilhete simples. Outra informação essencial para o monitoramento de políticas públicas educacionais é a proporção de crianças e jovens, em cada faixa etária, fora da escola. É também pelas estatísticas da Pnad que sabemos o grau de escolaridade (em anos de estudo ou por etapa de ensino completada) da população brasileira.
Por ser uma pesquisa que investiga também questões como a renda individual ou familiar, taxa de desemprego, número de filhos, entre outras questões, a Pnad é importante também para avaliar questões de desigualdade educacional, fazendo recortes específicos por grupo e identificando aqueles mais vulneráveis.
Uma limitação da Pnad é que ela não possui dados para os 5.570 municípios do Brasil. É possível, por exemplo, saber quantas crianças estão fora da escola no país, numa reunião, num estado ou nas principais regiões metropolitanas, mas não em uma cidade.
Censo Demográfico
Além de quase todas as informações de educação que constam na Pnad, o Censo Demográfico, previsto para ser realizado de dez em dez anos, fornece também informações sobre os municípios e até mesmo sobre bairros. Justamente por causa de sua abrangência, é uma pesquisa mais cara. O último Censo disponível é o de 2010 e o de 2020 foi adiado por causa da pandemia de Covid-19. É pelo Censo também que é possível investigar algumas características de populações minoritárias, como os povos indígenas ou residentes em comunidades quilombolas.
Outras pesquisas
Além da Pnad e do Censo, há outras pesquisas do IBGE que incluem temas educacionais em seu questionário. É o caso da Munic e da Estadic. A primeira é uma investigação sobre municípios brasileiros, a partir de respostas de autoridades municipais. A segunda diz respeito aos Estados. Essas pesquisas trazem, por exemplo, a proporção de municípios de acordo com a forma de escolha de diretores de escola.
Outra pesquisa importante é a de Orçamentos Familiares (POF). Sua última edição foi relativa aos anos de 2017 e 2018. Ela traz dados como o investimento das famílias com educação, saúde, alimentação, livros e outras variáveis.
O IBGE tem também uma pesquisa diretamente relacionada à população em idade escolar, chamada de Pesquisa Nacional de Saúde do Escolar. Não há uma periodicidade prevista para ela. A última edição foi divulgada em 2015. Ela traz informações como hábitos alimentares, segurança, sedentarismo, saúde sexual, reprodutiva e mental, entre outros aspectos.
O Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) é uma autarquia do Ministério da Educação responsável pela aplicação e análise de exames e pesquisas educacionais. Diferentemente do IBGE, os dados coletados pelo Inep tratam apenas da população matriculada em algum estabelecimento de ensino. Em contrapartida, as estatísticas do Inep são as que mais aprofundam a questão sobre a qualidade do ensino e as condições de oferta em escolas e instituições de ensino superior no país. Por essa razão, a maioria dos dados educacionais utilizadas por jornalistas de educação tendem a ter como fonte o instituto. A seguir, uma lista das principais pesquisas:
Censo Escolar
É o mais abrangente levantamento feito pelo Inep anualmente. O censo é respondido pelas escolas públicas e privadas e por todas as redes de ensino do país. Uma das mais básicas – e fundamentais – informações que ele traz é sobre o número de alunos matriculados no sistema formal de educação, possibilitando recortes por ano, etapa, faixa etária, rede pública ou privada, entre outros. O resumo das principais informações do Censo é publicado anualmente na Sinopse Estatística da Educação Básica. Neste documento, o jornalista irá encontrar dados como:
Número de matrículas por etapa, região, estado, município, dependência administrativa, sexo, faixa etária, cor/raça, entre outras;
Número de alunos com deficiência, em classes regulares ou especiais (separados dos demais);
Número de docentes por nível de formação, etapa em que leciona, região, estado, dependência administrativa, sexo, faixa etária, cor/raça, entre outras;
Número de turmas e de estabelecimentos de ensino, por etapa, região, estado, dependência administrativa, sexo, faixa etária, cor/raça, entre outras.
Há no Censo, porém, um enorme número de outros dados relevantes para análise da situação da educação no país. O melhor atalho para chegar a essas outras informações é acessando a aba “indicadores educacionais” (importante ficar atento que o site do Inep passa por constante atualizações). Neste ambiente, o jornalista conseguirá acessar dados, quase sempre até o nível de escolas, como:
Média de alunos por turma;
Taxa de distorção idade-série (percentual de alunos que estão “atrasados no sistema”, ou seja, com idade superior a esperada para aquela série);
Taxas de rendimento (percentual de alunos aprovados, reprovados ou que abandonaram a escola em determinado ano letivo);
Percentual de Docentes com Curso Superior;
Adequação da formação docente (que indica se o professor tem formação adequada para lecionar na disciplina em que dá aula);
Complexidade da gestão da escola (um indicador importante para saber se é uma escola de gestão mais complexa pelo número de alunos ou perfil dos estudantes atendidos);
Nível socioeconômico dos alunos;
Remuneração média dos docentes.
Toda essa lista de informações acima é fundamental para que o jornalista possa contextualizar os dados de determinada escola ou sistema educacional em sua reportagem. Por exemplo, se a reportagem tratar de uma escola com Ideb muito baixo, é importante ver qual o perfil de aluno atendido e quais as condições de trabalho dos professores. Um erro que era muito comum em análises feitas por jornalistas era a comparação de resultados sem contextualização, como no caso de rankings que comparavam escolas privadas de elite com colégios públicos que atendem alunos de muito baixo nível-socioeconômico. Uma outra maneira de obter informações rápidas para contextualizar resultados de determinada escola é acessar o aplicativo Clique Escola, feito pelo Inep.
O Censo é também a base de informações sobre a infra-estrutura da escola, qualificação dos diretores, entre outras relevantes para os jornalistas de educação.
Sistema de Avaliação da Educação Básica (Saeb)
O Censo Escolar, por ser um instrumento respondido pelos gestores de escolas ou de sistemas, traz poucas informações sobre o desempenho de estudantes em testes. Essa lacuna é preenchida desde 1995 pelo Saeb. Até 2020 (o Inep, neste ano, divulgou planos de ampliação e mudanças na prova), o Saeb avaliava as seguintes etapas:
alfabetização dos alunos no 2º ano do ensino fundamental (através da Avaliação Nacional de Alfabetização);
desempenho em testes de português e matemática nos 5º e 9º anos do ensino fundamental e no 3º ano do ensino médio.
A principal diferença dos testes aplicados no âmbito do Saeb em relação às provas feitas pelos professores em cada sala de aula ou aos vestibulares isolados realizados por algumas universidades é que são provas de larga escala com nível de dificuldade controlado por uma técnica chamada de Teoria de Resposta ao Item. Em resumo, nos grandes testes padronizados do MEC, é possível saber o grau de dificuldade de cada questão, de modo que as provas de um ano para o outro (com exceção das redações) possam ser comparadas. Sem esse controle, a informação de que a média nacional em um exame aumentou ou caiu 10% de uma edição da prova para a outra nada significaria em termos de diagnóstico da qualidade do ensino, pois a variação pode ter acontecido simplesmente porque a prova foi mais fácil ou difícil num ano.
Em 2020, o Inep anunciou algumas importantes mudanças no formato dessas avaliações. A proposta do instituto era que mais disciplinas (além de português e matemática) e mais anos (além dos 5º e 9º do fundamental e 3º do médio) fossem avaliados, o que aumentaria significativamente o número de testes aplicados aos alunos. Outra mudança proposta que alteraria significativamente o formato de avaliação é que que o Saeb no ensino médio, aplicado em todos os três anos previstos para esta etapa, poderia substituir o Enem para os alunos matriculados no sistema regular de ensino. O Enem continuaria a existir como prova feita para alunos que já concluíram o ensino médio. Vale destacar que o Enem, apesar de ter muita atenção da imprensa, não pode ser considerado um exame que avalie a evolução da qualidade do sistema educacional, pois ele é voluntário. Desta forma, não há garantia de que, de um ano para o outro, a população que prestou o exame seja representativa do total dos estudantes que completam o ensino médio.
Voltando ao Saeb, vale destacar que, desde que foi criado, em 1995, ele passou por algumas mudanças importantes. Até 2005, o Saeb era feito de forma amostral, o que significa que os resultados eram apresentados em nível nacional, regional ou estadual. Não havia, portanto, informações sobre escolas e municípios. Em 2005, com a criação do Ideb (veja em seguida mais detalhes do índice), as provas passaram a ser aplicadas em todas as escolas públicas de ensino fundamental. Em 2017, pela primeira vez, o exame passou a ser censitário para escolas públicas de ensino médio também, e opcional para escolas privadas que queiram ter seu desempenho divulgado. Com isso, o sistema passou a fornecer informações sobre o desempenho de escolas, redes municipais, além das redes estaduais e da média nacional.
A escala de resultados do Saeb é de mais complexo entendimento para o público leigo. As provas variam de 0 a 500. Mas a divulgação de que a média de alunos de uma escola foi de 231 pontos em língua portuguesa no 5º ano nada significa para o público leigo. Para contextualizar esses resultados, é preciso acessar no site do Inep as chamadas “escalas de proficiência”. Elas permitem identificar, para cada disciplina e para cada etapa, quais habilidades e competências os alunos são capazes de atingir quando alcançam determinada pontuação no exame.
Por vezes, esses resultados são apresentados de forma a separar o percentual de alunos que tiveram desempenho considerado adequado em cada etapa e disciplina. É importante ressaltar, porém, que não existe uma definição oficial do Inep que diga qual é o patamar adequado ou não. Essa interpretação é feita comumente em reportagens de imprensa a partir de uma interpretação da escola proposta pelo Movimento Todos Pela Educação. Ainda que facilite o entendimento do público leigo, é preciso sempre esclarecer que não se trata de uma classificação oficial.
Outra informação importante trazida pelo Saeb vem da resposta de alunos, professores e diretores aos questionários distribuídos junto com a prova. Esses questionários dão informações importantes sobre o perfil dos alunos, professores e diretores e sobre as condições de oferta do ensino. Da análise entre esses dados contextuais e dos resultados de aprendizagem dos alunos nos testes surgem muitas análises feitas por pesquisadores e jornalistas que dão pistas sobre variáveis associadas ao desempenho dos estudantes.
Ideb (Índice de Desenvolvimento da Educação Básica)
O Ideb é provavelmente o mais citado indicador oficial da qualidade do ensino pelos jornalistas. Desde 2005, o MEC passou a adotá-lo como principal balizador das metas de melhoria traçadas na época para todas as escolas e redes públicas e privadas do país. Como todo indicador, ele tem também suas limitações, mas uma de suas grandes vantagens é que os resultados são apresentados numa escala de zero a dez, o que facilita o seu entendimento pelo público leigo.
A inovação trazida pelo Ideb foi congregar, num único indicador, dados tanto de aprovação de alunos (aferidos pelo Censo Escolar) quanto de desempenho (avaliados pelo Saeb). A intenção ao fazer isso foi sinalizar para o sistema educacional de que era necessário avançar tanto em termos de aprovação quanto em termos de aprendizado. Se apenas o aprendizado medido em testes importasse, escolas ou redes de ensino poderiam aumentar a reprovação dos estudantes, deixando chegar ao final das etapas avaliadas apenas aqueles com melhor desempenho. Isso leva ao abandono de muitos estudantes, que, desmotivados, desistem de estudar. Por outro lado, se apenas as taxas de aprovação importassem, escolas ou redes poderiam passar estudantes de ano sem se preocupar com sua aprendizagem.
Este guia da Jeduca explica em detalhes como é calculado o indicador. Para o Ideb, ou para qualquer outra avaliação da educação, vale a máxima de que é fundamental o jornalista nunca esquecer da importância de contextualizar os resultados.
Censo da Educação Superior
Da mesma forma que faz com a Educação Básica, o Inep também realiza um censo com instituições de ensino superior no país. A informação mais básica – porém extremamente relevante – é o número de matrículas, de ingressantes e de concluintes nas instituições de ensino superior. É por meio dessas informações que podemos identificar se está crescendo ou não o número de ingressantes, matriculados ou concluintes no sistema brasileiro, podendo separar essas informações por modalidade de ensino (presencial ou à distância), tipo de instituição (universidade, centro universitário, faculdade), dependência administrativa (federal, estadual, municipal ou privada), e até mesmo por área ou curso feito pelo estudante, podendo fazer até mesmo um recorte por sexo e cor/raça.
O Censo traz também informações sobre docentes, o que permite calcular a média de alunos por professor e o percentual de professores com mestrado ou doutorado, e trabalhando em regime de dedicação exclusiva. Outra informação relevante que o Censo da Educação Superior passou a trazer foi o percentual de alunos que conseguem concluir o curso após cinco ou seis anos de matrícula. Esse é um dado relevante por mostrar que muitos dos estudantes chegam a ingressar no ensino superior, mas não conseguem concluir. Essas taxas tendem a ser maiores no setor privado e na modalidade à distância.
Sinaes (Sistema Nacional de Avaliação da Educação Superior)
Assim como há na educação básica o Saeb, para o ensino superior existe o Sinaes. Uma particularidade importante desse sistema é que ele está vinculado ao sistema regulatório do MEC. Isso significa, assim como acontece na pós-graduação com as avaliações da Capes, que um desempenho ruim na avaliação pode, em último caso, levar ao descredenciamento de instituições ou fechamento de cursos. Na prática, porém, isso ocorre em pouquíssimos casos.
O Sinaes é composto por uma série de indicadores. O mais conhecido deles é o Enade, exame aplicado a universitários no ingresso e na conclusão dos cursos, que substitui o antigo Provão. Ao comparar resultados de entrada e de saída dos estudantes, o objetivo é tentar mensurar o quanto a instituição contribuiu para que o aluno progredisse ao longo do curso. Por abranger todos os cursos do país, o Enade é feito num ciclo de três anos, sendo que a cada ano um determinado conjunto de cursos é avaliado.
As notas do Enade são um dos critérios utilizados pelo MEC para compor a avaliação de um curso (chamado de CPC, ou Conceito Preliminar do Curso) ou de uma instituição (chamado de IGC, ou Índice Geral de Cursos). Além do Enade, é feito também uma autoavaliação pelos estudantes e também avaliações a partir de visitas in loco nas instituições, além da análise de indicadores gerais da instituição aferidos pelo Censo da Educação Superior. O resultado geral das instituições é divulgado a cada três anos, pois é o ciclo que leva para que todas as áreas sejam avaliadas pelo Enade.
Além de conhecer os principais indicadores educacionais nacionais, o jornalista que cobre educação precisa também ajudar a contextualizar os dados brasileiros em comparação com o de outros países. O melhor caminho para fazer isso é partir de uma base de dados de alguma organização internacional que se dedica a essas comparações. Isso é importante porque a simples comparação de uma estatística produzida no Brasil com outra produzida diretamente em outro país é arriscado, já que metodologias costumam variar muito, tornando a comparação imprecisa ou, por vezes, equivocada. Ao recorrer a instituições que já fazem ajustes para permitir a comparação, o jornalista tem mais segurança de que o dado é confiável. Isso não significa que ele não precise ser contextualizado, pois comparar nações sem considerar tamanho, nível de desenvolvimento e culturas é algo que agrega pouco ao debate sobre as ações necessária para avançar na educação brasileira.
Unesco
Uma das fontes mais fundamentais para comparar indicadores educacionais entre países é o Instituto de Estatísticas da Unesco. A Unesco monitora a evolução dos ODS (Objetivos de Desenvolvimento Sustentável) e, para esse e outros fins, coleta muitas informações de praticamente todos os países do mundo. Essas informações passam pela análise crítica da equipe de estatística do órgão, para permitir que os dados sejam comparados com algum critério. Nesta base de dados, é possível, ao selecionar dados referentes aos ODS, comparar a proporção de gastos governamentais em educação, a proporção de crianças e jovens fora da escola, a taxa de reprovação e de conclusão da educação básica, índices de analfabetismo, entre outras informações relevantes. A Unesco produz com frequência relatórios de acompanhamento dessas metas, que são importantes fontes de contextualização e monitoramento desses dados.
OCDE (Organização para a Cooperação e Desenvolvimento Econômico)
A OCDE é a entidade que organiza a mais conhecida avaliação internacional da qualidade do ensino: o Pisa, exame aplicado de três em três anos em mais de 70 países a jovens de 15 anos de idade, com testes de matemática, ciências e linguagem. Os resultados do Pisa costumam repercutir principalmente por causa do ranking que é feito entre nações. Os relatórios da OCDE, no entanto, permitem que o jornalista avance muito mais do que na simples comparação acrítica, podendo comparar características dos sistemas educacionais do mundo que ajudam a explicar seus resultados. Os relatórios costumam ser extensos (mais de 500 páginas). Para o jornalista que não tem tempo de se aprofundar na leitura, a OCDE costuma fazer (e deixar gravada em seu site) coletivas de apresentação dos resultados gerais.
Como em toda avaliação educacional, há vários cuidados a tomar na interpretação dos dados. Um dos erros mais básicos cometidos por quem comenta os resultados do Pisa é supor que eles representam a maioria dos países do mundo. Como a adesão ao Pisa é voluntária, há um viés nos países participantes: são, em sua maioria, nações ricas, com alguns países em desenvolvimento (como o Brasil). Apenas para citar um exemplo, dos oitos países mais populosos do mundo, apenas três (Brasil, Estados Unidos e Indonésia) participam em sua totalidade do exame. A China costuma aparecer nas primeiras posições do ranking, mas apenas suas províncias mais ricas participam da prova. Índia, Paquistão, Bangladesh e Nigéria, por exemplo, nunca fizeram parte do exame.
Além dos resultados dos alunos em testes, a OCDE publica várias informações contextuais de cada país, aferidas por questionários a alunos, professores e diretores que acompanham a prova.
Outra pesquisa da OCDE que costuma receber muita atenção da imprensa é o relatório Education at a Glance. Ele traz dados comparativos como a escolaridade da população adulta (por exemplo, quantos terminaram o ensino superior em cada país), acesso ao ensino técnico, investimento em educação proporcional ao PIB, investimento por aluno (já considerando o poder de paridade de compra do dólar em cada economia), entre outros dados relevantes. É esse relatório que costuma ser muito citado em debates sobre o investimento feito pelo Brasil no ensino. Os últimos relatórios mostram que o Brasil já investe no setor um percentual do PIB semelhante a nações desenvolvidas. No entanto, como a economia brasileira tem um PIB per capita bem menor, quando esse valor é traduzido por gasto público por aluno, os números brasileiros ficam bastante aquém do verificado nos países ricos.
Vale lembrar que, no caso dessas estatísticas, a OCDE não produz diretamente o dado. No caso brasileiro, é o Inep quem repassa para a organização, e esta faz os ajustes devidos para facilitar a comparação. Os dados sobre investimento por aluno e em razão do PIB na educação básica podem ser acessados neste link da página do Inep. Na hora de comparar esses dados com outros países, no entanto, não é recomendado que o jornalista faça a conversão simples pelo câmbio e compare com outros países. O exercício de compatibilização dos dados e de considerar a paridade de compra da moeda em cada economia é essencial para permitir uma comparação menos imprecisa dos dados.
Por fim, outra pesquisa muito relevante da OCDE é a Talis. Ela não traz, como no caso do Pisa, dados sobre aprendizagem dos alunos, mas publica informações a partir de respostas de professores e diretores sobre inúmeras questões relevantes para a educação, como o salário de professores, número de alunos por turma, tempo gasto com indisciplina, preparação dos docentes para lidar com alunos com deficiência, entre outras variáveis que ajudam a explicar as condições de oferta do ensino em diferentes países.
O objetivo desse texto é apenas apresentar as principais fontes de dados utilizados por jornalistas em reportagens sobre educação. Para aprofundar na reflexão sobre seu uso, contextualização, críticas e limitações, segue uma lista de dez conteúdos produzidos pela Jeduca:
Conheça avaliações como Enem e Pisa. E algumas armadilhas
Escolarização não é aprendizagem
O risco que a imprensa corre ao procurar novidades no Ideb
Cuidado com os extremos no Ideb: lições de São Paulo e do Paraná
As limitações do Enem por escola (e dos rankings da imprensa)
Guia explica o Ideb
Debate aborda limitações de indicadores da educação básica
Quanto custa nossa educação (e o que está por trás dos números)
Entenda as avaliações do Inep
Miniguia reúne pontos de atenção para a cobertura do Ideb 2019
Webinário - O futuro sobre das avaliações externas com participação do presidente do INEP, Alexandre Lopes, e de três ex-presidentes do Instituto: Francisco Soares (UFMG), Luiz Araújo (UnB) e Reynaldo Fernandes (USP).
Novo Saeb e reformulação do Ideb: pontos de atenção da cobertura