ENEM 2011 – O GABARITO NÃO ‘REVELA’ A NOTA DOS ALUNOS – entenda melhor

Posted: Outubro 25, 2011 in Blogs Recomendados
Etiquetas:

rev. Jucelino Souza

Os cerca de mais de 5 milhões candidatos que fizeram as provas do último ENEM 2011, aguardam ansiosos pela divulgação dos gabaritos de suas respectivas provas, mas o que poucos sabem é que a avaliação comparativas de erros e acertos pelos gabaritos não definem por completo suas respectivas notas. Eles até poderão ter uma noção de seu desempenho, mas a certeza sobre o resultado atingido será só em janeiro, quando forem publicados os boletins individuais. Isso porque a metodologia utilizada no Enem, a Teoria de Resposta ao Item (TRI), tem um esquema complexo para avaliar as habilidades de cada candidato e não depende apenas do número de acertos e erros do estudante, como nos vestibulares tradicionais, mas do nível de dificuldade de cada item.

ENTENDENDO A TEORIA DA RESPOSTA AO ITEM (TRI)
A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos. A aplicação mais freqüente da Teoria da Resposta ao Item são as avaliações de habilidades e conhecimentos em Testes de Múltipla escolha.

A Teoria da Resposta ao Item surgiu a partir de discussões teóricas sobre a viabilidade de se comparar as habilidades e os conhecimentos de examinandos submetidos a provas diferentes. A Teoria Clássica dos Testes, principal teoria estatística para medida dessas características na época, via-se diante de enormes dificuldades para comparar as habilidades e os conhecimentos de examinandos submetidos a testes.

A Teoria da Resposta ao Item trata o problema da estimação da habilidade e conhecimento de um examinando de forma essencialmente diferente: o enfoque das análises desvincula-se das provas (Teoria Clássica dos Testes) e concentra-se nos Itens; se na Teoria Clássica dos Testes as estatísticas dos itens dependem da população dos examinandos e da prova à qual os itens pertencem, na Teoria da Resposta ao Item cria-se o conceito de que os parâmetros dos itens, obtidos no processo estatístico de “calibração” dos parâmetros de dificuldade, discriminação e acerto casual dos itens são características próprias dos mesmos.

Ou seja, uma questão que teve na calibragem baixo índice de acertos é considerada “difícil” e, portanto, tem mais peso na pontuação final. Aquelas que têm alto índice de acertos são classificadas como “fáceis” e contam menos pontos na nota final do candidato. Dessa forma, dois participantes que acertaram o mesmo número de itens poderão ter médias finais diferentes, dependendo do nível de dificuldade de cada uma dessas questões.

Vamos supor que você esteja fazendo uma prova de Matemática que foi elaborada a partir da TRI. São 50 questões de múltipla escolha (A,B,C,D e E).

Você realiza a prova e responde todas as questões. Você, conversando com um colega resolve comparar as soluções e digamos que de 50 questões você acerte 20, e seu colega também acerte 20. Em alguns dias, você recebe sua nota, que no caso da TRI podemos chamar de escore. Seu escore é de 40 pontos e de seu colega 50 pontos. Mas, isso é possível?

Esse é um ponto importante. Para cada questão da prova é atribuído um grau de dificuldade diferente (além dos parâmetros discriminação e “chute”). Por simplicidade, vamos supor que você tenha acertado 15 questões consideradas como fáceis e 5 como médias, e seu colega tenha acertado 15 questões fáceis, 2 médias e 3 difíceis. Como as questões possuem graus diferentes, é natural que o escore final seja diferente. Ainda, outras variáveis são agregadas ao modelo, como por exemplo a comparação entre grupos de provas, que podem ser comparadas (correlacionadas).

Para o pesquisador do tema e gerente da Avaliação Educacional, Renato Júdice, “tudo que é novo assusta”, mas ele acredita que dentro de algum tempo a população estará mais acostumada com esse modelo. Segundo ele, a vantagem da TRI em relação aos modelos clássicos é que ela vai além da análise de quem acertou mais e permite identificar o que o aluno sabe.

“A TRI procura estimar até que ponto o aluno consegue chegar e não simplesmente se ele acertou ou errou. Essa é a diferença crucial em relação à teoria clássica, que é muito apropriada para o concurso público em que o único objetivo é simplesmente selecionar. A TRI é um modelo mais refinado porque consegue ir além da seleção e me permite dizer o que o aluno sabe ou não”, compara.

Júdice usa uma metáfora simples para facilitar a compreensão da teoria. Em uma prova de salto com vara, um competidor consegue sucesso em todas as tentativas com o obstáculo posicionado a 1,5 m do chão. Já o outro atleta também acerta todos os pulos, mas atinge alturas superiores nos saltos, chegando até a 2 m. Portanto, o segundo competidor tem uma proficiência melhor do que o primeiro.

“Quantas questões você acertou não me diz muito sobre a sua real dificuldade. Eu preciso ir aumentando o grau de dificuldade para ver até onde você consegue chegar”, explica o pesquisador.

ENTENDENDO A NOTA DO ENEM
Para começar, não tem como o candidato calcular com exatidão a nota no Exame Nacional do Ensino Médio, Enem. Apenas o Inep pode fazer o cálculo, sendo que o instituto não calcula uma média global de desempenho, apenas apresenta as médias das provas separadamente.

A prova do Enem tem cinco notas: uma para cada área de conhecimento avaliada – Ciências da Natureza, Ciências Humanas, Linguagens e Matemática –, mais a média da redação. Para distribuição das vagas no Sistema de Seleção Unificada (SiSU), do Ministério da Educação (MEC), as instituições determinam o próprio peso de cada prova do Enem.

O cálculo da média das notas do ENEM (divulgadas pelo Inep) é realizado através de uma média aritmética simples, onde é necessário somar o valor de cada nota e dividir por 5. Como exemplo podemos citar, se o candidato atingiu nota 500 em cada prova, sua média também será 500, ou seja, 500+500+500+500+500= 2.500 / 5 = 500.

Como é calculada a nota?
Como já dissemos acima diferentemente de uma prova comum, a nota do Enem em cada área não representa simplesmente o número de questões que o estudante acertou na prova. Em cada uma das quatro áreas avaliadas, a média obtida depende também da dificuldade das questões que se erra e se acerta, e da consistência das respostas.

O que representa a nota?
Geralmente a média dos exames fica próxima dos 500 pontos. Portanto, quanto mais distante deste número for a nota do estudante, para cima, maior o desempenho obtido em relação à média dos participantes. Mesmo raciocínio vale para desempenho menor que 500, que aponta desempenho pior em relação ao obtido pela média.

Qual a nota máxima?
Os limites da escala, dentro de cada área, variam conforme o nível de dificuldade das questões da prova e o comportamento dos estudantes em cada questão. Portanto, o mínimo e máximo para cada área avaliada não são pré-fixados. Em cada edição essa pontuação se altera.

Em 2009:
Área de conhecimento Menor nota Maior nota
Ciências da Natureza e suas Tecnologias 263,3 903,2
Ciências Humanas e suas Tecnologias 300,0 887,0
Linguagens, Códigos e suas Tecnologias 224,3 835,6
Matemática e suas Tecnologias 345,9 985,1

Em 2010:
Área de conhecimento Menor nota Maior nota
Ciências da Natureza e suas Tecnologias 297,3 844,7
Ciências Humanas e suas Tecnologias 265,1 883,7
Linguagens, Códigos e suas Tecnologias 254,0 810,1
Matemática e suas Tecnologias 313,4 973,2

No caso da redação, a correção utiliza a mesma metodologia dos anos anteriores, : a nota do aluno pode variar numa escala de zero a 1000. A média em 2009 foi 601,5. Essas notas (menor e maior) s~ao fornecidas pelo INEP todos os anos.

Indico a leitura do texto:
Teoria da Resposta ao Item: Conceitos e Aplicações – pdf

Fontes:
http://pt.wikipedia.org/wiki/Teoria_da_resposta_ao_item
http://jpiton.blogspot.com/2009/05/teoria-de-resposta-ao-item-e-o-novo_9153.html
http://jpiton.blogspot.com/2010/11/onu-unesco-pisa-e-documentos-oficiais.html
http://jpiton.blogspot.com/2010/01/teoria-de-resposta-ao-item-e.html

Rev. Jucelino Souza
Twitter: http://twitter.com/jucelinosouza
E-mail: jucelinofs@yahoo.com.br

Advertisements

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão / Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão / Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão / Alterar )

Google+ photo

Está a comentar usando a sua conta Google+ Terminar Sessão / Alterar )

Connecting to %s