A Teoria de Resposta ao Item, ou TRI, é um campo de pesquisa estudado e aplicado há muitos anos internacionalmente, e no Brasil, nos últimos 15 anos. Dois exemplos de utilização da TRI são o SAEB e o SARESP.
Não pretendo entrar em detalhes da TRI, que é caracterizada por relações entre matemática aplicada, estatística e psicometria. Minha ideia é postar apenas alguns pontos importantes, principalmente para o esclarecimento para estudantes. Para saber mais sobre o assunto, recomendo as leituras da bibliografia recomendada.
Vou iniciar por um exemplo genérico (que não corresponde ao ENEM) mas que melhorará o entendimento do estudante quanto à sua nota. Vamos supor que você esteja fazendo uma prova de Matemática que foi elaborada a partir da TRI. São 50 questões de múltipla escolha (A,B,C,D e E). Você realiza a prova e responde todas as questões. Você, conversando com um colega resolve comparar as soluções e digamos que de 50 questões você acerte 20, e seu colega também acerte 20. Em alguns dias, você recebe sua nota (no caso da TRI é chamado de escore). Seu escore é de 40 pontos e de seu colega 50 pontos. Mas, isso é possível?
Esse é um ponto importante. Para cada questão (item) da prova é atribuído/determinado (por um procedimento chamado de calibração, realizado durante um pré-teste) um grau de dificuldade diferente (além dos parâmetros discriminação e "chute". Ver detalhes em Lord (1980)). Por simplicidade, vamos supor que você tenha acertado 15 questões consideradas como fáceis e 5 como médias, e seu colega tenha acertado 15 questões fáceis, 2 médias e 3 difíceis. Como as questões possuem graus diferentes, é natural que o escore final seja diferente. Ainda, outras variáveis são agregadas ao modelo, como por exemplo a comparação entre grupos de provas, que podem ser comparadas (correlacionadas). Alguns pontos eu gostaria de destacar:
* As questões possuem agregadas um determinado grau de dificuldade.
* São vários níveis de questões de fácil a difícil.
* Cuidado com o chute.
* Terão provas diferentes, mas que "medem" o conhecimento do aluno igualmente.
Ressalto que meu objetivo aqui é somente colocar algumas idéias da TRI e os exemplos são didáticos e não exprimem o cálculo do escore real do ENEM ou qualquer outro exame baseado na TRI, e não detalha todos os passos para elaboração e interpretação de exames. Para aqueles que se interessarem pelos detalhes, recomendo a leitura de ANDRADE et al. (2000).
Bibliografia
ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. “Teoria de resposta ao item: conceitos e aplicações”. São Paulo: Associação Brasileira de Estatística, 2000.
Baker, F.B. (2001). The basics of item response theory.Washington, DC: ERIC.
Hambleton, R.K. & Swaminathan, H. (1985). Item Response Theory. Principles and applications. Boston, MA: Kluwer Nijhoff Publishing.
Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park, CA: SAGE Publications.
Lord, F.M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
MENDONCA, L. H. ; ALUISIO, Sandra Maria ; PITON-GONÇALVES, J. . Criação e aplicação de testes adaptativos informatizados: : um estudo de caso. In: Workshop de Educação em Computação (WEI), 2004, Salvador. Anais do XXIV Congresso da Sociedade Brasileira de Computação, 2004.
Mais sobre o ENEM: http://www.enem.inep.gov.br
Não pretendo entrar em detalhes da TRI, que é caracterizada por relações entre matemática aplicada, estatística e psicometria. Minha ideia é postar apenas alguns pontos importantes, principalmente para o esclarecimento para estudantes. Para saber mais sobre o assunto, recomendo as leituras da bibliografia recomendada.
Vou iniciar por um exemplo genérico (que não corresponde ao ENEM) mas que melhorará o entendimento do estudante quanto à sua nota. Vamos supor que você esteja fazendo uma prova de Matemática que foi elaborada a partir da TRI. São 50 questões de múltipla escolha (A,B,C,D e E). Você realiza a prova e responde todas as questões. Você, conversando com um colega resolve comparar as soluções e digamos que de 50 questões você acerte 20, e seu colega também acerte 20. Em alguns dias, você recebe sua nota (no caso da TRI é chamado de escore). Seu escore é de 40 pontos e de seu colega 50 pontos. Mas, isso é possível?
Esse é um ponto importante. Para cada questão (item) da prova é atribuído/determinado (por um procedimento chamado de calibração, realizado durante um pré-teste) um grau de dificuldade diferente (além dos parâmetros discriminação e "chute". Ver detalhes em Lord (1980)). Por simplicidade, vamos supor que você tenha acertado 15 questões consideradas como fáceis e 5 como médias, e seu colega tenha acertado 15 questões fáceis, 2 médias e 3 difíceis. Como as questões possuem graus diferentes, é natural que o escore final seja diferente. Ainda, outras variáveis são agregadas ao modelo, como por exemplo a comparação entre grupos de provas, que podem ser comparadas (correlacionadas). Alguns pontos eu gostaria de destacar:
* As questões possuem agregadas um determinado grau de dificuldade.
* São vários níveis de questões de fácil a difícil.
* Cuidado com o chute.
* Terão provas diferentes, mas que "medem" o conhecimento do aluno igualmente.
Ressalto que meu objetivo aqui é somente colocar algumas idéias da TRI e os exemplos são didáticos e não exprimem o cálculo do escore real do ENEM ou qualquer outro exame baseado na TRI, e não detalha todos os passos para elaboração e interpretação de exames. Para aqueles que se interessarem pelos detalhes, recomendo a leitura de ANDRADE et al. (2000).
Bibliografia
ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. “Teoria de resposta ao item: conceitos e aplicações”. São Paulo: Associação Brasileira de Estatística, 2000.
Baker, F.B. (2001). The basics of item response theory.Washington, DC: ERIC.
Hambleton, R.K. & Swaminathan, H. (1985). Item Response Theory. Principles and applications. Boston, MA: Kluwer Nijhoff Publishing.
Hambleton, R.K., Swaminathan, H., & Rogers, H.J. (1991). Fundamentals of item response theory. Newbury Park, CA: SAGE Publications.
Lord, F.M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
MENDONCA, L. H. ; ALUISIO, Sandra Maria ; PITON-GONÇALVES, J. . Criação e aplicação de testes adaptativos informatizados: : um estudo de caso. In: Workshop de Educação em Computação (WEI), 2004, Salvador. Anais do XXIV Congresso da Sociedade Brasileira de Computação, 2004.
Mais sobre o ENEM: http://www.enem.inep.gov.br
