Uma matéria publicada na Folha de S.Paulo em 16 de abril trouxe à tona um debate importante e atual para o jornalismo de educação: o uso de pesquisas como fonte de reportagens. O texto, baseado num estudo do Ipea (Instituto de Pesquisa Econômica Aplicada) ainda não publicado, relata que a inclusão de sociologia e filosofia como disciplinas no ensino médio prejudicou a aprendizagem de matemática.
A conclusão baseia-se na comparação das médias no Enem (Exame Nacional do Ensino Médio) em 2012 e 2009, ano em que as duas disciplinas se tornaram obrigatórias em todo o secundário. De acordo com os pesquisadores responsáveis pelo estudo, Thais Waideman Niquito e Adolfo Sachsida, alunos de municípios com IDH (Índice de Desenvolvimento Humano) baixo teriam sido os mais prejudicados. A hipótese dos autores é a de que a inclusão de sociologia e filosofia reduziu o tempo dedicado às demais disciplinas, impactando negativamente na aprendizagem de matemática.
Rapidamente, a reportagem repercutiu na mídia e entre educadores. Houve quem lembrasse, em entrevistas e nas mídias sociais, que Sachsida, além de ter sido consultor do presidenciável Jair Bolsonaro, já defendeu publicamente o movimento Escola Sem Partido, que tem entre uma de suas reivindicações a exclusão das duas disciplinas do currículo. Estar atento a um possível viés de qualquer estudo é sem dúvida um ponto importante de atenção para os jornalistas. Tão ou mais importante, porém, é avaliar se a pesquisa tem metodologia adequada para chegar a uma conclusão tão forte quanto a de que, no caso em questão, a entrada de sociologia e filosofia no currículo teria prejudicado o aprendizado de outras disciplinas, como a matemática.
.
Ciência x política
Num cenário polarizado como o atual, esse tipo de questionamento não chega a surpreender. Justamente por isso e porque as pesquisas, cada vez mais, são fontes de matérias sobre políticas públicas, os jornalistas precisam saber identificar estudos confiáveis e fazer análises corretas de seus resultados. O alerta é da jornalista Debra Viadero, editora assistente da Education Week e autora do “Guia para entender pesquisas acadêmicas”, publicado pela Education Writers Association e traduzido pela Jeduca.
“É reconfortante esperar de pesquisas a palavra final sobre alguma política ou prática educacional, mas na verdade isso raramente acontece. O melhor que os estudos fazem é dar pistas sobre o que funciona, quando e para quem, porque escolas, classes e comunidades variam muito entre si. (...) Pior do que isso, pesquisas podem produzir retratos enviesados de um tema. Esse risco existe, por exemplo, quando um grupo de interesse tenta direcionar o debate público divulgando seu próprio estudo em busca de manchetes que reafirmem seus pontos de vista”, escreve a jornalista no guia.
Esse foi um dos aspectos questionados em matérias e artigos que repercutiram o estudo do Ipea. Em entrevista na Carta Capital, Ana Paula Corti, socióloga e professora do Instituto Federal de Educação, Ciência e Tecnologia de São Paulo, argumentou que havia uma incongruência entre os experimentos realizados e suas conclusões, possivelmente por conta do interesse em demonstrar os prejuízos causados pelas disciplinas. Em artigo publicado na Folha de S. Paulo, o filósofo Paulo Ghiraldelli Jr. levantou a mesma hipótese. A Sociedade Brasileira de Sociologia também se manifestou por meio de nota.
Em meio às primeiras reações, o próprio Sachsida publicou uma nota no blog do Instituto Liberal enfatizando a validade científica do estudo. Ele defende que as evidências construídas são suficientes para demonstrar que a lei não teve os resultados esperados na melhora no desempenho escolar dos alunos. “Se os resultados de meu artigo estiverem corretos (e existem boas evidências de que estão), então a Lei 11.684 não cumpre com seu papel de melhorar o desempenho escolar dos alunos, pior que isso: pune mais severamente os alunos que estudam em escolas públicas em localidades mais carentes”.
Sachsida diz que fez vários procedimentos para verificar a robustez dos resultados. Além disso, chama a atenção para o fato de sua pesquisa ser a primeira a avaliar a lei e afirma esperar que ela colabore para despertar a curiosidade sobre o tema. “Todo estudo científico é sujeito a críticas, claro que no futuro podem surgir novas evidências sobre o tema. Espero que meu texto tenha ajudado a despertar a curiosidade sobre esse importante tema. Notem que a Lei 11.684 foi aprovada em 2008, e o nosso estudo (pelo melhor de meu conhecimento) foi o primeiro a avaliar seu impacto no desempenho escolar dos alunos. Espero que novos estudos surjam, e um amplo debate aconteça. Nossos alunos merecem respeito."
Compreender a metodologia
Dado que reportagens e pesquisas possuem técnicas e objetivos distintos, os jornalistas precisam se precaver contra armadilhas. O primeiro cuidado (e, talvez, o mais essencial) é ir direto à fonte (ou seja, ler o estudo completo). Também ajuda ter em mente algumas perguntas-chave, assinala o guia da Jeduca.
Algumas das mais importantes dizem respeito à metodologia: como os resultados foram medidos? De que maneira foi construída a amostra? Existe um grupo de controle? Dependendo das respostas, o jornalista será capaz de saber que tipo de elementos a pesquisa aporta para compreender e avaliar os efeitos de uma política.
Grande parte das observações em relação à pesquisa do Ipea diz respeito à consistência da metodologia. Além do artigo de Ghiraldelli, a Folha publicou uma entrevista, feita pela mesma jornalista que escreveu a reportagem, com o economista Ernesto Martins, na qual ele apresenta uma série de ressalvas à maneira como a pesquisa foi desenhada.
Para Martins, embora a hipótese dos pesquisadores seja válida e mereça ser testada, eles teriam desconsiderado aspectos que podem ter influído no desempenho dos estudantes no Enem a partir de 2009 – por exemplo, as mudanças no formato do exame e a criação do Sisu (Sistema de Seleção Unificada) e do Fies (Fundo de Financiamento Estudantil) podem ter atraído bons alunos para o exame, influenciado as médias gerais.
O economista amplia e detalha suas críticas em artigo assinado com Raquel Guimarães, professora da UFPR (Universidade Federal do Paraná), publicado no QEdu Blog. Eles identificam algumas fragilidades da pesquisa: além daquela citada na entrevista à Folha, o artigo aponta a ausência de série histórica de dados comparáveis e a dificuldade de estabelecer relações de causa e efeito com base na metodologia adotada, o que inviabiliza a generalização dos resultados e seu uso como base para recomendações de políticas públicas.
Um dos aspectos que fragiliza o estudo, na visão de Martins e Raquel, é a significância estatística dos achados: “quando os autores controlam sua análise pelas características dos alunos e das escolas, poucos resultados se mostraram estatisticamente significantes (os próprios autores reconhecem isso)”. E, quando são significativos, “os efeitos foram extremamente pequenos sobre as notas do Enem”. Além disso, os autores incorporaram ao modelo o desempenho em redação, o que não pode ser feito porque essas notas não são comparáveis no tempo.
Revisão de pares e meta-análise
Como lembrado no guia traduzido pela Jeduca, a legitimação de uma pesquisa científica depende da validação da metodologia e de seus resultados pelos pares – a chamada peer review, ou seja, uma análise do texto por acadêmicos de competência reconhecida no assunto enfocado. Essa é uma prática comum nas boas publicações científicas, importante especialmente para pesquisas e avaliações de políticas públicas. Esse é também um bom parâmetro para jornalistas se guiarem ao tomarem contato com estudos, pois um dado que parece render um ótimo lide não possui, necessariamente, consistência metodológica e científica e dificilmente será publicado numa publicação de renome.
Outro meio de navegar no território das pesquisas acadêmicas e ter segurança de que as conclusões são pertinentes é comparar os resultados com outros estudos sobre o mesmo tema. Uma maneira de localizá-los é recorrer às meta-análises, estudos que reúnem resultados de várias pesquisas sobre o mesmo tema. Se os resultados do estudo que será fonte da matéria forem discrepantes, desconfiar é a ordem! Nesse caso, o jornalista não deve hesitar em procurar outros pesquisadores (as referências bibliográficas podem ser uma boa fonte) para repercutir os achados.
Mesmo tendo o tempo como inimigo, uma habilidade cada vez mais importante para o jornalista de educação é saber analisar a qualidade dos estudos, de forma a qualificar o debate sobre o tema na sociedade.
