Teste Adaptativo Computadorizado

Os Testes Adaptativos Informatizados (TAI) ou Testes Adaptativos Computadorizados (TAC) ou (em inglês) Computer Adaptive Test (CAT) propõem uma forma de avaliação caracterizada por selecionar os itens (questões) segundo os níveis estimados de habilidade/proficiência/traço latente. 

Mediante um conjunto de itens previamente calibrados (estimados, por exemplo, pela Teoria de Resposta ao Item), um CAT tem a principal característica de "individualizar um teste", ou seja, cada aluno participante recebe um elenco de diferentes itens, em diferentes quantidades e ordenação.

Ainda, um CAT baseado na Teoria de Resposta ao Item (TRI) seleciona os itens valorizando as habilidades/competências do indivíduo a partir dos itens respondidos (Weiss, 1984). Desta forma, pode-se aplicar testes com maior flexibilidade e adaptabilidade, além da redução do tempo, resultados imediatos e maior precisão em relação ao Teste Objetivo Tradicional (Olea et al., 1999).

São elementos básicos de um CAT (Conejo, 2001):

• O Modelo de Resposta ao Item, que descreve como o indivíduo responde ao item, segundo seu traço latente.
• O Método de Seleção dos Itens, que proporciona a seleção do próximo item em função do traço latente estimado e da resposta do item previamente ministrado.
• Um Banco de Itens (BI) previamente calibrado.
• O Nível de Conhecimento Inicial, que envolve a escolha do primeiro item de teste.
• O Critério de Parada pode ser o alcance de um (i) nível pré-estabelecido do traço latente, (ii) a quantidade máxima de itens em um teste, (iii) tempo de teste, etc.

O CAT baseado na Teoria de Resposta ao Item possui o componente estimação do traço latente θ, que pode ser, por exemplo o desempenho de um estudante de Matemática. O fluxograma da Figura 1 mostra o funcionamento de um CAT (PITON-GONÇALVES, 2012t).

Figura 1: Fluxograma geral de um CAT unidimensional na área educacional (PITON-GONÇALVES, 2012t).

Os passos para a execução de um CAT são (PITON-GONÇALVES, 2012t):

• (I) Inicia-se o teste (1) e aplica-se um ou mais critérios iniciais (2).

• (II) Aplica-se um critério de seleção de item (3). Exibe-se o item e o examinado responde ao item (4).

• (III) Estima-se a habilidade (5) e decide-se de acordo com a satisfação do(s) critério(s) de

parada (6). Se satisfeito, então fim de teste (7) senão, volta-se ao passo (II).

O CAT apresenta as seguintes vantagens (PITON-GONÇALVES, 2012t):

• O desempenho do examinado determina o seu próprio elenco de itens administrados,quando responde correta ou incorretamente a um item (PITON-GONÇALVES et al., 2009).
• O tempo de teste é reduzido e mantém o mesmo nível de confiança de um teste convencional, reduzindo significativamente a fadiga dos longos testes (OLIVEIRA, 2002).
• Pode-se utilizar o CAT como ferramenta para a Educação a Distância (PITON-GONÇALVES et al., 2009).
• Um CAT não requer que todos os examinados realizem simultaneamente o exame (COSTA, 2009).
• O CAT permite analisar e comparar equivalentemente os resultados de diferentes grupos de examinados a partir de diferentes itens (PITON-GONÇALVES et al., 2009).
• Um CAT ajusta adequadamente o nível de dificuldade dos itens, sem prejudicar a acurácia das estimativas (COSTA, 2009).

O CAT mede apenas um traço latente θ (unidimensional) ou mesmo, um construto majoritário. Por outro lado, cada vez mais os testes educacionais têm apontado para avaliações de desempenho do examinado em múltiplas competências e habilidades. Para isso, os Testes Adaptativos Computadorizados Multidimensionais (em inglês, Multidimensional Computer Adaptive Test – MCAT) supõe que o examinado possua um construto mental representado por mais de um traço latente, que possa ser estimado pela Teoria de Resposta ao Item Multidimensional (em inglês, Multidimensional Item Response Theory – MIRT) (RECKASE, 2009). 

Uma pesquisa nacional sobre MCAT é encontrada em Piton-Gonçalves (2012t). Para saber mais sobre CAT e MCAT consulte a bibliografia abaixo indicada.

Referências/Bibliografia

• Conejo, R., Millan, E., Cruz, J. L. P., and Trella, M. (2001). Modelado del alumno: um enfoque bayesiano. Inteligencia Artificial, Revista Iberoamericana de Inteligencia Artificial, (12):50–58.
• Costa, D. R. Métodos Estatísticos em Testes Adaptativos Informatizados. 107 p. Dissertação
  de Mestrado - Universidade Federal do Rio de Janeiro, 2009.
• Huang, S. X. (1996). A content-balanced adaptive testing. in computer aided learning and instruction in science and engineering. CALISCE-Computer Aided Learning and Instruction in Science and Engineering, (3):29–31.
• Manseira, P. R. P. e Misaghi, M. Proposta de ferramenta para uso abrangente de Testes Adaptativos Computadorizados na Educação a Distância. III Congresso Brasileiro de Engenharia de Produção (ConBRepro). 04 a 06 de dezembro de 2013. Ponta Grossa, PR.

• Olea, J., Ponsoda, V., and Prieto, G. (1999). Tests Informatizados Fundamentos y Aplicaciones. Ediciones Piramede.

• OLIVEIRA, L. H. M. ; ALUISIO, S. M. ; PITON-GONÇALVES, J. (2004). Criação e aplicação de testes adaptativos informatizados: : um estudo de caso. In: Workshop de Educação em Computação (WEI), 2004, Salvador. Anais do XXIV Congresso da Sociedade Brasileira de Computação.

• PITON-GONÇALVES, J. Desafios e Perspectivas da Implementação Computacional de Testes Adaptativos Multidimensionais para Avaliações Educacionais. Tese de Doutorado, - Universidade de São Paulo, 2012t.
• PITON-GONÇALVES, JEAN ; ALUÍSIO, S. M. An architecture for multidimensional computer adaptive test with educational purposes. In: 18th Brazilian symposium on Multimedia and the web (Webmedia), 2012, Sao Paulo/SP. Proceedings of the 18th Brazilian symposium on Multimedia and the web - WebMedia '12. New York: ACM Press, 2012a. p. 17-24. 

• PITON-GONCALVES, Jean; ALUISIO, Sandra Maria. Teste Adaptativo Computadorizado Multidimensional com propósitos educacionais: princípios e métodos. Ensaio: aval.pol.públ.Educ., Rio de Janeiro , v. 23, n. 87, p. 389-414, jun. 2015 . Disponível em Download.
• PITON-GONÇALVES, JEAN ; ALUISIO, S. M. . Proposta de um esquema de anotação para os itens de Testes Adaptativos Informatizados baseados no CBAT2. In: XI Encontro de Linguística de Corpus - ELC, 2012, São Carlos. Anais do XI Encontro de Linguística de Corpus - ELC, 2012b.
• Curi, M. ; PITON-GONÇALVES, JEAN ; Ricarte, T. A. M. ; ALUISIO, S. M. . Métodos de Seleção de Itens em Teste Adaptativo Multidimensional. I CONBRATRI, Congresso Brasileiro de Teoria de Resposta ao Item, 2009.
• PITON-GONÇALVES, JEAN ; MONZÓN, A. J. B. ; ALUISIO, S. M. . Métodos de avaliação informatizada que tratam o conhecimento parcial do aluno e geram provas individualizadas. In: XX Simpósio Brasileiro de Informática na Educação, 2009, Florianópolis. Anais do XX Simpósio Brasileiro de Informática na Educação - 17-20 de novembro de 2009 - Porto Alegre: Sociedade Brasileira de Computação, 2009.

• PITON-GONÇALVES, J. ; ALUISIO, S. M. ; OLIVEIRA, L. H. M. ; OLIVEIRA, O. N. . (2004). A Learning Environment for English for Academic Purposes Based on Adaptive Tests and Task-Based Systems. In: 7th International Conference on Intelligent Tutoring Systems (ITS - 2004), 2004, Maceió. Proceedings of the 7th International Conference on Intelligent Tutoring Systems - Lecture Notes in Computer Science, 2004. v. 3220. p. 1-11. 
• Reckase, M. D. Multidimensional Item Response Theory. [S.l.]: Springer: New York - NY,
  2009.
• Weiss, D. J. and Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Education Measurement, 21:361–375.