A divulgação dos resultados do Sisu 2020 foi autorizada pelo STJ (Supremo Tribunal de Justiça), que aceitou ao recurso do governo. Porém, a decisão não esgota o caso.
Matérias publicadas na quarta-feira (29/1) pelo Estadão e Folha, entre outros veículos colcoaram em dúvida a precisão da correção das provas do Enem 2019 e, consequentemente, das notas dos participantes, sinalizando para possíveis pautas e desdobramentos do assunto.
Uma das informações divulgadas diz respeito à nota técnica do Inep (Instituto Nacional de Estudos e Pesquisa Educacionais) enviada à Justiça para comprovar que a falha na correção das 5.974 provas com gabarito errado não prejudicou o conjunto de participantes do Enem 2019 (quase 4 milhões). Na nota consta que a calibragem de questões da prova foi feita durante a correção da prova e não no pré-teste, como é recomendado.
Outra informação relevante é a que técnicos do Inep relataram em off que não foi feito um novo cálculo dos parâmetros das questões na segunda correção das provas, realizada após o MEC (Ministério da Educação) reconhecer que havia falha na nota dos candidatos..
O MEC afirma que o erro de cálculo afetou menos de 1% dos participantes do Enem 2019 e, por isso, não interfere na nota dos demais candidatos.
A seguir, alguns pontos de atenção para compreender o que aconteceu e subsidiar futuras reportagens sobre o assunto..
Calibragem das questões
Em linhas gerais, a prova do Enem é composta por questões fáceis, médias e difíceis. A definição do grau de dificuldade da questão e de outros parâmetros, como probabilidade de chute, é feita por meio de um pré-teste.
Saber de antemão o grau de dificuldade das questões é importante no Enem, pois a nota do candidato é calculada com base na proporção de acerto de questões fáceis, médias e difíceis (e não apenas pela soma simples da quantidade de acertos). Também é levada em conta a probabilidade de, por exemplo, o candidato acertar uma questão por chute ou errar por falta de atenção. Isso é possível através da definição dos parâmetros de cada questão.
O cálculo da nota é feito dessa maneira porque o Enem adota a TRI (Teoria de Resposta ao Item), uma metodologia que permite medir a proficiência do aluno.
Especialistas afirmam que o ideal, numa prova que adota a TRI, é usar apenas questões pré-testadas.
Por que foi necessário calibrar as questões
O Inep indicou na nota à Justiça que o Enem 2019 incorporou questões que não haviam passado por pré-teste. Por isso, foi necessário calibrar (“medir” os parâmetros) dessas questões com base nas respostas efetivas dos candidatos para estabelecer o grau de dificuldade de cada uma delas - e, consequentemente, as notas dos candidatos.
A amostra da calibragem
Segundo o Inep, a calibragem foi feita com uma amostra de 100 mil provas – número bem maior do que as cerca de 5.974 provas que teriam apresentado erro de nota. Mas a amostra incluiu parte dessas provas com nota errada por causa da troca do gabarito - o que, segundo especialistas e técnicos do Inep que falaram em off com a imprensa, prejudica a precisão das notas dos participantes.
Os parâmetros das questões do Enem
Na calibragem das questões do Enem são analisados três parâmetros: discriminação (capacidade de separar quem sabe mais de quem sabe menos), grau de dificuldade e acerto ao acaso. Cada questão é analisada segundo esses três itens.
Como a amostra da primeira calibragem incluiu questões corrigidas com o gabarito errado, especialistas consideram que seria necessário fazer um novo cálculo dos parâmetros na segunda correção - o que não teria sido feito, segundo o Inep deixou claro em sua nota técnica.
Esse segundo cálculo garantiria maior precisão dos resultados, o que é decisivo para os candidatos aos cursos mais concorridos, na visão de especialistas.
O Inep, por sua vez, argumenta na nota técnica que seria inócuo fazer um novo cálculo de parâmetros, pois as inconsistências encontradas na amostra usada para a calibragem das questões tiveram efeito significativo sobre a amostra de 100 mil.
No entanto o STJ voltou a questionar o MEC, pois a resposta não foi consideda clara e objetiva quanto aos prejuízos gerados a candidatos.
A elaboração do Enem 2019
A prova do Enem 2019, segundo análises de professores, incluiu questões com um perfil diferente de anos anteriores. Então, um ponto de atenção é saber como foi o processo de elaboração da prova. Quantas questões novas foram incorporadas a prova? Esse é um dado importante para ajudar a dimensionar o impacto da calibragem.
Vale lembrar que 2019 foi marcado por instabilidade na administração do Inep e a diretoria responsável pelo Enem ficou sem titular por cinco meses. Também não se sabe detalhes do resultado dos trabalhos da comissão que avaliou o Banco de Itens do Enem. O Inep divulgou em dezembro que 66 questões foram alvo da comissão.
Judicialização
Depois que o MEC reconheceu que havia falha nas notas do Enem 2019, diversas ações foram ajuizadas questionando a correção. Com a divulgação dos problemas técnicos relacionados à calibragem e ao cálculo dos parâmetros das questões, é possível que a judicialização do Enem 2019 continue, na visão de especialistas. Alguns também defendem a realização de uma auditoria para verificar todo o processo de correção, tendo em vista a preservação da credibilidade do exame.
