O que é o Pisa?
O Programa Internacional de Avaliação de Estudantes (a sigla vem do nome do exame em inglês, Programme for International Student Assessment), é administrado pela OCDE (Organização para a Cooperação e Desenvolvimento Econômico), grupo que reúne 34 países, a maioria deles ricos. O objetivo da OCDE ao lançar o Pisa, no fim dos anos 90, foi criar uma medida comparável de sistemas de educação pública em todo o planeta. O exame é realizado a cada três anos e avalia estudantes na faixa de 15 anos, idade na qual em muitos países os alunos completam o ciclo de ensino obrigatório.
A avaliação do Pisa se divide em três grandes áreas, Matemática, Leitura (ou Linguagem) e Ciências. A cada edição o foco principal se alterna entre elas. Leitura foi o foco nas edições de 2000 e 2009. Matemática concentrou a maior parte das questões em 2003 e 2012. Ciências foi o foco principal em 2006 e agora na última edição, em 2015.
O Pisa é considerado hoje a principal avaliação da educação mundial. Um dos indicadores do seu sucesso é a evolução do número de países e regiões participantes, que saltou de 32 em 2000 para mais de 70 em 2015.
Os resultados do Pisa 2015 serão divulgados para jornalistas na segunda-feira (5), com embargo para publicação no dia seguinte. A divulgação oficial será feita pela OCDE às 8 horas de terça-feira (6), em Londres.
Links úteis
O relatório da edição de 2015 será publicado no dia 6 no site do Pisa: https://www.oecd.org/pisa/. Mas o site já tem bastante material disponível para quem quiser conhecer mais sobre o exame, como exemplos de questões das provas de 2015, a lista dos países participantes e as principais conclusões dos relatórios de edições passadas.
Para receber alertas referentes à publicação do Pisa 2015 e ter acesso ao material que será divulgado com embargo no dia 5 você deve se cadastrar em http://contact.oecd.org/ContactData.aspx.
Para acessar o relatório em português com análises do Pisa 2015 específicas sobre o Brasil, cheque o site do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais): http://portal.inep.gov.br/internacional-novo-pisa-resultados
Número de estudantes
O Pisa 2015 avaliou mais de 540 mil estudantes, amostra que a OCDE considera representativa de 28 milhões de adolescentes na faixa etária de 15 anos (na verdade, a idade para seleção de alunos varia de 15 anos e 3 meses até 16 anos e 2 meses). No Brasil, fizeram o teste cerca de 23 mil estudantes.
A prova
A prova de 2015 teve duração aproximada de duas horas. O exame foi concebido para que os estudantes gastassem uma hora resolvendo questões de Ciências, foco desta edição do Pisa, e o resto do tempo com questões de Matemática e Leitura e de duas novas áreas, resolução colaborativa de problemas e competência financeira. A aplicação da prova no Brasil durou um mês e alcançou 841 escolas.
Os relatórios sobre as duas áreas novas avaliadas em 2015 sairão no ano que vem. A OCDE também divulgará em 2018 uma publicação sobre o bem-estar dos alunos, que vai compilar respostas de questionários respondidos pelos adolescentes.
Características e foco em Ciências
“O Pisa não se limita somente ao teste de conteúdos adquiridos, aqueles saberes acumulados da escola, não é um teste de memória”, disse a doutora em Educação Esther Carvalhaes, integrante da equipe responsável pelo Pisa na OCDE, durante webinário mediado pela diretora da Jeduca Renata Cafardo no dia 21 de novembro. “Ele privilegia principalmente a capacidade dos alunos de aplicar aquilo que eles aprenderam na escola em situações novas, aplicar o saber em situações práticas que eles nunca encontraram antes. Não é atrelado a nenhum currículo em particular.”
Esther falou com mais detalhes no webinário sobre a concepção de Ciências do Pisa, que, segundo ela, está menos associada a conteúdos específicos de biologia, física e química do que exames aos quais os estudantes estão acostumados. “Essa concepção parte do princípio de que muitas das saídas para problemas atuais e futuros da Humanidade vão depender em grande medida de soluções que venham da área de ciência e tecnologia. Alunos que sejam letrados na área de ciências precisam ter a capacidade de refletir e de se envolver em um diálogo crítico sobre assuntos relacionados a ciência e tecnologia, mas também ter a compreensão de como a ciência se constrói.”
“A gente quer saber em que medida esses alunos conseguem argumentar de forma científica. Para isso eles precisaram ser capazes de, por exemplo, explicar alguns fenômenos científicos. Precisaram identificar algumas questões e perguntas que podem ser respondidas pela ciência; e usar seus saberes, mas também o raciocínio e a imaginação, para propor experimentos científicos que pudessem responder a essas perguntas”, disse Esther. “Por fim esses alunos deveriam ser capazes de avaliar e interpretar dados para chegarem a conclusões válidas a partir de experimentos científicos.”
Questionários
Além da prova, os estudantes responderam a questionários com perguntas sobre dados pessoais, informações sobre a sua escola, seu bem-estar e também sobre se gostam de aprender Ciências. Outras questões disseram respeito ao interesse dos alunos em seguir uma carreira científica e à avaliação deles sobre a utilidade do conteúdo escolar nessa área para suas vidas no futuro.
A OCDE também aplicou questionários a 89 mil pais, 93 mil professores e 17,5 mil diretores de escola em todo o mundo, além de recolher informações de autoridades. “Eles forneceram dados sobre as escolas, as práticas escolares, alocação de recursos, políticas institucionais, enfim uma série de fatores que podem contribuir para o desempenho dos alunos”, disse Esther.
Que tipos de resultados esperar na divulgação internacional do Pisa?
Segundo Esther, a publicação do Pisa fornece três grandes grupos de informação. “Primeiro são os indicadores sobre o desempenho dos alunos, tanto em termos de conhecimento quanto de competências nas áreas de Ciências, Matemática e Leitura.”
A OCDE também se debruça sobre fatores que podem influenciar a performance dos alunos. “Uma série de análises é realizada para poder estabelecer uma relação entre o desempenho desses alunos e suas características sociais, econômicas e demográficas.”
O terceiro bloco é formado por uma série de indicadores que mostra a evolução histórica do desempenho por país nas três áreas avaliadas.
O que é mais importante para a cobertura?
“O mais importante é saber qual o resultado geral do país”, afirmou Esther no webinário. “Qual é o desempenho médio do país na área principal, que em 2015 foi Ciências, e também em Matemática e Linguagem. Se o jornalista não tiver tempo para olhar nenhum outro dado do Pisa, esses resultados são os mais importantes.”
Depois de analisar as médias, vale se debruçar sobre o porcentual de alunos que têm alto ou baixo desempenho. “As duas proporções são importantes para todos os países. Um país que tem um número muito elevado de alunos de baixo desempenho tem que se preocupar com isso”, disse Esther, mencionando a avaliação de Ciências. “Também é muito importante o porcentual de alunos de alto desempenho. Eles representam de certa forma uma reserva de talentos que o país pode utilizar para conseguir avanços na área científica e de tecnologia.”
Outra abordagem possível, segundo Esther, é trabalhar os dados dos questionários. Comparar, por exemplo, o grau de interesse na carreira científica com o desempenho na prova de Ciências; destacar informações sobre quanto os alunos gostam de estudar disciplinas científicas ou a imagem que eles têm sobre como o saber científico evolui.
Destaque para Ciências ou para Matemática e Leitura?
Esta pergunta foi feita no webinário da Jeduca por uma jornalista que estava mais interessada nos resultados do Pisa em Leitura. “Pode dar o foco em Leitura ou Matemática, mas aí eu acho que se perde o privilégio de abordar as questões científicas”, disse Esther. “Não é todos os dias que a gente tem uma análise desse porte, com essa riqueza de informações. O jornalista que fizer essa opção vai perder um pouco do prato principal.”
A especialista respondeu a outra pergunta, sobre se é mais adequado comparar o desempenho de Ciências do Pisa 2015 com o do exame de 2012 ou com o da outra edição que teve foco científico, a de 2006. Ela considerou “interessante” a ideia de comparar as provas de 2006 e 2015. “Mas não é uma condição necessária, isso ficar por conta do jornalista, do recorte que ele achar mais adequado. Você pode comparar o desempenho em Ciências de agora com o do último exame, sem problema.”
Ranking, margem de erro e evolução histórica
Os países e regiões participantes do Pisa são organizados em rankings de desempenho dos seus estudantes nas três áreas, Ciências, Matemática e Leitura. Mas Esther recomenda cuidado na abordagem dos rankings, para evitar conclusões precipitadas. “O Pisa é um teste baseado em amostragem. E toda pesquisa baseada em amostragem tem uma margem de erro. Quando você olha, por exemplo, uma diferença de resultado entre países, ela pode ser tão pequena que não é real”, disse. Assim, a diferença que coloca um país na 20ª posição e outro na 21ª posição no levantamento pode ficar dentro da margem de erro.
Em um webinário sobre avaliações internacionais realizado em 17 de novembro pela EWA (Education Writers Association), associação de jornalistas de educação americana, o professor de Harvard Tom Loveless, pesquisador da Brookings Institution, bateu na mesma tecla de Esther. “Você pode ter países que fazem progressos, mas não sobem no ranking, e outros que regridem, mas não perdem posições.”
Loveless criticou os jornais americanos por darem manchetes dizendo que o país caiu, por exemplo, 3 pontos na média de Matemática. Para ele, diferenças de 5 pontos para cima ou para baixo não indicam nenhum padrão nem permitem construir hipóteses para explicar o desempenho. “Você deve desconfiar de especialistas que fazem isso.”
Para o professor de Harvard, um risco adicional que os jornalistas correm é o de entrevistar pessoas envolvidas com advocacy de determinadas políticas na repercussão de avaliações internacionais. A tendência, advertiu, é a de elas atribuírem o resultado à adoção ou não das políticas que defendem.
O argumento de Loveless retoma um dos motes de um texto da editora pública da EWA, Emily Richmond, sobre a cobertura do Pisa 2012 nos Estados Unidos. Emily citou como exemplo de parcialidade nas análises Kris Perry, líder do First Five Years Fund, entidade que luta por maiores investimentos na pré-escola, e Randy Weingarten, presidente da Federação Americana de Professores.
À imprensa, Perry disse que o Pisa 2012 mostrava o quanto os EUA estavam atrás de economias emergentes. “Países como Índia e China estão expandindo dramaticamente o acesso à pré-escola”, disse. Randy, por sua vez, preferiu destacar que os países que se saíram bem na avaliação faziam de tudo para “garantir que os professores são bem preparados e recebem apoio”. Ela disse ainda que nenhum desses líderes do Pisa tinha “a fixação por testes que os Estados Unidos têm.”
Além do cuidado com as fontes, Loveless sugeriu que, para evitar as armadilhas dos rankings, os jornalistas americanos devem “olhar as tendências de longo prazo”. Esther disse a mesma coisa no webinário da Jeduca: levar em conta o desempenho dos países em edições anteriores do Pisa. “Pelo menos assim você tem uma perspectiva maior dos dados que você está discutindo e apresentando.” Mas ela advertiu que o melhor meio de fazer essa análise de tendência é usar a série histórica publicada no relatório de 2015. “Evite buscar a edição antiga, de 2012 ou de qualquer outro ano, para comparar com o resultado absoluto de agora. Isso por causa da margem de erro. Se você procurar a série histórica no relatório atual, essa questão já está sendo considerada.”
O próprio relatório assinala progressos e eventuais retrocessos dos países participantes, o que facilita bastante a análise dos jornalistas. “Quando você olha, por exemplo, o resumo dos resultados para determinado país, a OCDE procura deixar claro: ‘Houve um declínio ou houve um progresso nesse país.’ Significa que essa análise (da margem de erro) já foi levada em consideração”, disse Esther.
Inep cria ranking com Brasil mais 13 países
A Jeduca ouviu especialistas do Inep, responsável pela aplicação do Pisa no Brasil, para saber que tipo de informações serão colocadas à disposição dos jornalistas. Uma das novidades da divulgação deste ano é uma espécie de ranking paralelo montado pelo instituto. Esse ranking permitirá comparar o desempenho do Brasil com o de outros 13 países – tanto da América Latina quanto da OCDE – que, na avaliação do Inep, têm características semelhantes às nossas. “A gente selecionou esses grupo porque a realidade brasileira é diferente, por exemplo, da de países asiáticos”, disse a estatística Denise dos Reis Costa, uma das responsáveis pelo relatório sobre a participação do país no Pisa.
Relatório brasileiro terá desempenho por estados e matrizes do Pisa
O Inep preparou duas publicações sobre o Pisa 2015. O relatório que descreve a participação brasileira no exame tem quase 300 páginas. Inclui análises de desempenho por estados e regiões e explicações sobre as competências avaliadas no Pisa em Ciências, Matemática e Leitura.
“Falamos das diferenças entre o Pisa e a Prova Brasil para elevar o debate, não ficar só no ranking. Nessa comparação, esmiuçamos um pouco a matriz referencial de cada exame para mostrar o que cada prova avalia”, disse Denise, lembrando que a Prova Brasil é censitária, realizada por mais de 4 milhões de alunos, não amostral, como o Pisa. “Pudemos identificar pontos fortes e fracos do desempenho dos nossos estudantes a partir dessas especificidades da avaliação, e não somente na comparação com os outros países. Mostramos exemplos de itens da prova com comentário pedagógico, apontando quais foram as dificuldades que os estudantes brasileiros encontraram.”
“Em dez capítulos conseguimos explorar tanto a parte da amostra de estudantes quanto os resultados de cada área avaliada. A gente também explorou um pouco das informações dos questionários e alguns indicadores sobre escolas”, disse Denise, que cuidou da parte estatística do relatório entre abril e outubro. “O intuito é fazer uma reflexão sobre os resultados, para conseguir melhorias a curto, médio e longo prazo."
Sumário executivo do Inep vai comparar itens da prova com o que a escola ensina
O sumário executivo do Inep tem cerca de 30 páginas e é mais direto na análise dos resultados do Brasil no Pisa. Traz a descrição pedagógica das três áreas do conhecimento cobertas pelo Pisa e descreve o desempenho dos alunos em aspectos mais específicos da avaliação. “Quisemos mostrar outros lados da análise e não focar só nas médias nacionais”, disse Denise. “Como nosso objetivo era trazer a realidade do sistema educacional brasileiro, reproduzimos alguns itens da prova e o desempenho dos alunos neles. Também analisamos quais características desses itens têm a ver com aquilo que o aluno está aprendendo na escola.”
Comparações entre países
No webinário da Jeduca, Esther pediu cautela também nas comparações diretas entre países. “Por um lado o Pisa permite isso, por outro nós esperamos bom senso da parte de quem tem acesso ao relatório, porque nem todas as comparações são apropriadas”, disse. “Talvez não seja justo comparar o resultado de um país que gasta muito com educação com o de outro que tem poucos recursos para aplicar na área.”
O relatório traz dados que dão base para comparações que não se atenham à questão do desempenho. “Tem outros fatores que você pode examinar”, disse Esther. “Qual o nível de renda do país, qual o volume de recursos aplicados em educação, se a distribuição dos recursos é mais ou menos igualitária no país ou privilegia algumas populações, qual é o perfil socioeconômico dos alunos, entre outros.”
Nessa busca por informações de contexto, a economista Camila Lima de Moraes, consultora da OCDE, sugeriu recorrer a outra publicação da entidade, o Education at a Glance, cuja última edição foi divulgada em setembro. “Ele tem muitos indicadores que podem ajudar, de financiamento da educação, gasto por aluno, qual porcentagem do PIB é aplicada em educação, níveis de escolaridade da população, incluindo taxas de matrícula, qual porcentagem tem ensino superior, qual a porcentagem de jovens que estão na escola, quantos estão no mercado de trabalho”, enumerou Camila, que acompanhou Esther no webinário. “Tem também informações sobre a organização das escolas, como tamanho das turmas, a proporção entre professor e número de alunos, salários dos professores, tempo de instrução. Todos esses indicadores são apresentados de forma comparativa.”
O site do Education at a Glance tem informações sobre o Brasil em português.
Campeões do Pisa
Outra análise que requer cuidados é a dos países campeões do Pisa, os chamados sistemas educativos de alto desempenho. “Você não pode ter a expectativa de que vai achar respostas fáceis, como ‘o país A tem uma política mais voltada para o ensino individualizado e por isso seus resultados são superiores’”, disse Esther no webinário da Jeduca. “O Pisa não é desenhado de forma a permitir conclusões de causa e efeito. Ele não dá uma receita do que fazer com os resultados. O que ele faz é mostrar o retrato atual de um determinado país, apontar alguns pontos fortes e deficiências e dar algumas sugestões do tipo de educação e ambiente escolar que existem nos sistemas de alto desempenho. Mas a partir daí a lição de casa é de cada país, que vai olhar seus resultados e fazer as mudanças de que precisa.”
Xangai. É justo comparar?
Em 2012, a cidade chinesa de Xangai liderou os três rankings do Pisa. O fato de a OCDE admitir uma cidade em uma avaliação na qual predominam países foi alvo de críticas, tanto de especialistas em educação quanto de jornalistas. Esther admite que a comparação fica prejudicada não só nesse caso, mas também quando o teste é aplicado apenas em uma região de um país.
“É importante comparar países com países. A comparação entre uma região e um país é uma questão que exige muito bom senso e eu, particularmente, evitaria. Porque o resultado de uma região não diz nada a respeito do desempenho dos alunos no resto daquele país”, diz. “Por outro lado, alguns países são pequenos. E muitos analistas consideram perfeitamente normal comparar um estado ou região com um país de proporções semelhantes.”
A comparação entre estados e países provocou polêmica nos EUA no Pisa 2012. Na ocasião, três estados, Connecticut, Flórida e Massachusetts pagaram à OCDE US$ 600 mil cada um para ter resultados separados da média nacional. A Flórida não se saiu tão bem, mas os outros dois tiveram destaque na avaliação. Em leitura, por exemplo, Massachusetts só ficou atrás de Xangai, Hong Kong e Cingapura.
“Não é uma boa ideia comparar cidades ou estados a países, ponto”, disse outro participante do webinário da EWA, William Schmidt, da Michigan State University. Para ele, esse tipo de abertura pode levar a exageros como o de um subúrbio rico de Chicago que há alguns anos se auto-intitulou “o melhor distrito educacional do mundo” por conta do desempenho em uma edição do Timms, exame internacional de matemática e ciência. “Aquilo foi ridículo, porque a maioria dos países não usa a divisão por distrito.”
Mas por que Xangai, especificamente, está no Pisa? Esther disse que todos os participantes aderem ao exame de forma voluntária. Embora não afirme que esse seja o caso da China (que, por sinal, não faz parte da OCDE), a especialista ponderou que o Pisa exige uma organização técnica muito grande, o que pode provocar algum receio em governos. “Se o país sente que ainda não está na hora de fazer esse exame no nível nacional, algumas regiões podem se oferecer para participar dele, não tem problema nenhum. O que acontece nesses casos é que a região vai ser avaliada pelo Conselho Diretor do Pisa para ver se ela atende um certo número de exigências, padrões técnicos, para poder gerar os tipos de resultados comparáveis na escala do exame.”
Loveless foi bastante crítico em relação à inclusão de Xangai no Pisa durante o webinário da EWA. “Não dá para interpretar os dados da China”, garantiu. O professor de Harvard chamou a atenção para os efeitos do chamado sistema hukou, que restringe o direito de migrantes chineses morarem nas cidades e limita seu acesso a serviços de saúde e educação. Segundo o especialista, estima-se que nas grandes cidades chinesas até metade dos filhos de migrantes sejam obrigados a voltar para suas províncias de origem se quiserem cursar o ensino médio. “Nenhum país tem esse grau de injustiça”, disse. “Xangai não é modelo de equidade.”
Grau de dificuldade e cálculo das notas
As perguntas do Pisa têm níveis diferentes de dificuldade e a escala do exame trabalha com níveis de proficiência. “Em vez de olhar simplesmente um resultado ou nota pontual, o Pisa procura olhar para essa distribuição de dificuldade e agrupar os alunos dentro dos níveis de desempenho, que vão de habilidades mais simples até as mais complexas”, disse Esther.
“O Pisa é baseado em amostragem e examinamos uma pequena seleção de alunos, que vai representar todos os demais”, afirmou a pesquisadora da OCDE no webinário da Jeduca. “Pelas características do aluno, ele tem uma probabilidade x ou y de aparecer na amostra final. Então, na hora de avaliar a média, esse aluno não pode representar só ele, mas todos os outros alunos que são semelhantes a ele. É assim que se compõe a média final. Ela é calculada com base nos resultados dos alunos que participaram, mas leva em consideração a representatividade: qual é o número de outros alunos que aquele estudante representa.”
“O processo de amostragem é bastante complexo, leva um tempo razoável para ser realizado. E cada país é envolvido diretamente nesse processo. É o país que sabe onde estão os estudantes. Queremos que a amostragem represente as regiões do país, os estados, as cidades, tudo isso tem de ser levado em consideração”, explicou Esther. A penúltima etapa desse trabalho é a definição das escolas que vão ser representadas na amostra final. “A partir do momento em que você decide as unidades, a escolha dos alunos é uma escolha aleatória.”
Amostra brasileira inclui alunos da 7ª série em diante, mas não escolas rurais do Norte
O Inep começou a preparar a participação do Brasil na última edição do Pisa em 2012-2013. O trabalho inicial foi o planejamento da amostra. “No Brasil a população de alunos na faixa etária do Pisa tem se mantido estável. Se a gente pegar o Censo e algumas projeções, é algo em torno de 3,5 milhões de estudantes”, disse Denise dos Reis Costa.
Esse universo caiu para aproximadamente 2,8 milhões de alunos por conta de outros ajustes. Um deles foi causado pelo fato de o Brasil ter quase meio milhão de estudantes de 15 anos matriculados abaixo da 7ª série, que é o ponto de corte do Pisa. Segundo Denise, a maioria dos estudantes avaliados estava no ensino médio: cerca de 35% no 1º ano e outros 35% no 2º ano. Aproximadamente 20% estavam no 9º ano.
Uma particularidade da amostra brasileira é que ela exclui escolas rurais da Região Norte. “Mencionamos no relatório que em nenhum momento do Pisa, nem lá atrás, em 2000, o Brasil incluiu essas escolas”, disse Denise. “A gente tem ainda muita dificuldade de logística para chegar até elas.”
Mudanças na amostra e polêmicas
Nas duas primeiras edições do Pisa, em 2000 e 2003, a amostra de estudantes brasileiros foi definida para produzir apenas resultados nacionais. Em 2000 a avaliação alcançou 324 escolas e 4.885 alunos; em 2003, foram 228 escolas e 4.452 estudantes. Esse quadro começou a mudar depois que uma análise da professora Ligia Trevisan, da Unesp (Universidade Estadual Paulista) de São Carlos, identificou um desequilíbrio na amostra. Ligia descobriu que a maioria das escolas selecionadas para o Pisa ficava em cidades com IDH (Índice de Desenvolvimento Humano) abaixo da média dos seus estados.
O Inep decidiu refazer o plano amostral para o Pisa 2006, para ter um conjunto mais representativo de escolas e também para permitir o recorte dos resultados por estados. O tamanho da amostra aumentou para 625 escolas e 9.295 alunos.
Apesar disso, o próprio Inep admitiu, em uma nota técnica de 2012 sobre a amostragem do Pisa no Brasil, que os resultados por estados “apresentaram em 2006 um erro padrão elevado”. Para contornar o problema, decidiu-se “aumentar um pouco a amostra, para obter médias mais precisas” para cada unidade da Federação. Com isso, o Pisa 2009 teve a participação de 947 escolas e 9.295 alunos.
A prova de 2009 mostrou melhor desempenho em Matemática, mas também provocou polêmica entre especialistas. Um deles, Simon Schartzman, retomou a questão ao escrever em seu blog sobre o Pisa 2012. Simon se disse intrigado pelo fato de a melhor performance em Matemática desde 2009 não vir acompanhada de progressos em Leitura e Ciências e citou uma análise de uma das principais referências em avaliações de larga escala no Brasil, Ruben Klein.
“Segundo um estudo de Ruben Klein, a melhora havida entre 2006 e 2009 pode ser atribuída ao fato de que os alunos na amostra de 2009 estavam na média mais adiantados e eram mais velhos do que os de 2006. Não houve nenhuma melhora entre 2009 e 2012 em Linguagem e Ciências, mas a Matemática continuou melhorando, ainda que muito pouco”, escreveu Simon.
Laptops
Em 2015, pela primeira vez os alunos fizeram o Pisa no computador. Nos diversos países que participaram da avaliação, empresas contratadas pela OCDE cuidaram da logística e dos laptops, que rodavam a prova sem necessidade de conexão pela internet.
“Eles tinham um número limitado de laptops e passavam em uma rota de escolas previamente definida”, disse Denise, do Inep. “Ficamos com um pouco de receio, porque não existe nenhuma avaliação nacional computadorizada, mas deu tudo certo. A gente aprendeu muito, talvez consiga levar essa experiência para outras avaliações.”
Críticas ao Pisa
Como qualquer avaliação educacional em larga escala, o Pisa desperta críticas de parte dos educadores. Mas, talvez, por sua ambição de fornecer um retrato da educação em nível mundial, ele sofre contestações em países nos quais os resultados atraem maior interesse da sociedade, como os Estados Unidos. Uma das manifestações mais incisivas nesse sentido foi uma extensa carta aberta, endereçada em maio de 2014 ao diretor do Pisa na OCDE, Andreas Schleicher, assinada por mais de 80 acadêmicos do mundo todo.
Publicado na íntegra pelo jornal inglês The Guardian, o texto assinala que os resultados do Pisa são “ansiosamente aguardados por governos, ministros da Educação, e o corpo editorial dos jornais” e reproduzidos em vários documentos sobre políticas públicas. “Eles começaram a influenciar profundamente as práticas educacionais em muitos países”, escreveram os acadêmicos. Maus resultados no Pisa, segundo eles, viraram sinônimo de pressão por demissão de autoridades e pela adoção de reformas.
Os autores do texto falaram de sua “preocupação com os efeitos negativos dos rankings do Pisa”. Entre esses motivos de apreensão, mencionaram o papel do exame da OCDE na disseminação dos testes padronizados, “apesar das sérias reservas a respeito da sua validade e confiabilidade”. Os acadêmicos atribuíram ao ciclo de três anos do Pisa um estímulo para governos adotarem reformas a curto prazo, “apesar de pesquisas demostrarem que mudanças duradouras nas práticas educacionais levam décadas, não apenas uns poucos anos, para dar resultados”. Também afirmaram que “por enfatizar um rol estreito de aspectos mensuráveis da educação, o Pisa desvia a atenção de objetivos menos mensuráveis ou imensuráveis da educação, como o desenvolvimento físico, moral, cívico e artístico”.
