No dia 5 de dezembro, jornalistas cadastrados na OCDE (Organização para a Cooperação e Desenvolvimento Econômico) vão receber um calhamaço de informações sobre o Pisa (Programa Internacional de Avaliação de Estudantes, na sigla em inglês) de 2015, com embargo para publicação no dia seguinte. O que priorizar na cobertura da participação do Brasil na avaliação, considerada o principal termômetro da qualidade do ensino no mundo? Para a doutora em Educação Esther Carvalhaes, integrante da equipe responsável pelo Pisa na OCDE, o primeiro aspecto a considerar é o resultado geral do Brasil em Ciências, foco da última edição do exame. Mas ela recomenda cuidado na abordagem do ranking do Pisa.
Esther participou na segunda-feira (21) de um webinário (veja aqui) conjunto da Jeduca e da OCDE sobre o Pisa 2015. Durante cerca de uma hora, ela apresentou dados sobre o exame de 2015 e respondeu a perguntas de jornalistas. O evento, mediado pela diretora da Jeduca Renata Cafardo, teve ainda a participação da especialista em políticas públicas Camila Lima de Moraes, que também trabalha na OCDE.
O Pisa foi respondido por cerca de 540 mil adolescentes de 15 anos em 72 países ou economias (o termo é usado pela OCDE porque em alguns casos o exame é aplicado em regiões específicas de um país, como Xangai, na China). O exame é aplicado de três em três anos e a cada edição privilegia um dos conteúdos principais, Matemática, Leitura e Ciências – esta última foi o foco da edição de 2015.
Esther esclareceu no webinário que os jornalistas vão receber no dia 5 os resultados das três áreas. Uma das perguntas dos internautas tratou da possibilidade de privilegiar na cobertura Matemática ou Leitura, áreas normalmente avaliadas em exames nacionais, como a Prova Brasil. A especialista da OCDE enfatizou que a “coqueluche do ano” é o conteúdo de Ciências. “O teste que os alunos fizeram teve uma bateria de questões maior nessa área”, disse. “Você pode dar o foco em Leitura e Matemática, mas aí vai estar perdendo o privilégio de abordar questões científicas, não é todos os dias que a gente tem uma análise desse porte, com essa riqueza de informações. Vai perder um pouco do prato principal.”
A OCDE considera que a amostra de 540 mil estudantes é representativa de um universo de 28 milhões de adolescentes. Na prova, de 2 horas de duração, eles tiveram de mostrar a capacidade de aplicar o que aprenderam nas aulas em situações práticas, diferentes da que costumam ver no ambiente escolar. “Tentamos ver em que medida os jovens conseguem argumentar de forma científica, explicar fenômenos e identificar perguntas que podem ser respondidas pela ciência, mas também usar o raciocínio e a imaginação para propor experimentos que possam responder essas perguntas”, disse Esther.
Para a especialista da OCDE, o relatório do Pisa pode ser dividido em três grandes áreas: indicadores de desempenho em termos de conhecimento e competências; relação entre desempenho e características sociais, econômicas e demográficas; evolução histórica dos países. Mas ele traz informações abrangentes sobre temas como a situação das escolas, motivação para o aprendizado, alocação de recursos, práticas escolares e políticas públicas. Isso porque, além da prova, são aplicados questionários, respondidos em 2015 pelos estudantes, por 89 mil pais, 93 mil professores e 17.500 diretores. “É um relatório enorme, não se resume a resultados. Não é só uma história, tem uma variedade de matérias."
Esther mencionou a questão dos resultados do Pisa para fazer outra ressalva, falando especificamente do ranking. “É preciso ser cuidadoso na abordagem para não tirar conclusões precipitadas. O Pisa é feito por amostragem, tem uma margem de erro, por isso diferenças pequenas entre países podem não ser tão significativas.”
Para fugir dessa armadilha nas comparações, a especialista sugeriu aos jornalistas que analisem a série histórica dos países, já que o Pisa é aplicado desde 2000. “Olhar o desempenho anterior é um modo mais seguro de apresentar os dados”, disse. Para entender como ocorreu a evolução dos países, Esther recomenda consultar o relatório que será divulgado no dia 5, e não recorrer diretamente a edições anteriores da avaliação. Isso porque a OCDE faz análises dos históricos de países já levando em conta as margens de erro das outras provas do Pisa. “A OCDE deixa claro se houve um declínio ou um progresso. Essa é a forma mais segura.”
Para receber os resutados do Pisa os jornalistas devem se inscrever pelo link http://contact.oecd.org/ContactData.aspx. O material será liberado no dia 5, com o compromisso de que a publicação das informações ocorra só no dia seguinte, em um horário específico a ser determinado pela OCDE. A prática da divulgação prévia de avaliações e relatórios de educação é uma das bandeiras da Jeduca – bem como o respeito ao embargo. Quem divulgar o Pisa antes do horário permitido será punido pela OCDE e pela Jeduca.
Veja abaixo mais informações sobre as palestrantes do webinário:
Esther F. S. Carvalhaes nasceu e cresceu em São Paulo. Formada em educação pela Universidade de São Paulo e doutora em políticas educacionais pela Universidade da Cidade de Nova Yorque, ela se especializou na aplicação de métodos estatísticos - como o uso de bancos de dados de larga escala - para melhor compreender realidades educacionais. Ela é pesquisadora acreditada pelo What Works Clearinghouse (do Departamento de Educação dos Estados Unidos) para conduzir avaliações sobre a qualidade de estudos publicados na área de educação. Atualmente, ele atua como analista do Pisa na OCDE em Paris, após ter trabalhado em outros projetos da OCDE como o Education at a Glance e o Education GPS.
Camila Lima de Moraes é natural de Salvador, Bahia. Ela é formada em Economia e Ciências Políticas pela Brown University nos Estados Unidos e fez mestrado em Economia e Políticas Públicas no Institut d' Études Politiques de Paris (Sciences Po Paris). Atualmente, atua como consultora do Departamento de Educação da OCDE, na equipe responsável pela publicação anual Education at a Glance. Ela trabalha com indicadores internacionais de educação relacionados a financiamento da educação, retornos financeiros da educação, conclusão do ensino médio e superior e tamanho de turmas/razão aluno-professor.
