Teste Adaptativo Computadorizado ou Informatizado - Entenda alguns princípios

O texto abaixo é uma compilação do artigo:

PITON-GONÇALVES, J.; MONZÓN, A. J. B. ; ALUISIO, S. M. Métodos de avaliação informatizada que tratam o conhecimento parcial do aluno e geram provas individualizadas. In: XX Simpósio Brasileiro de Informática na Educação, 2009, Florianópolis. Anais do XX Simpósio Brasileiro de Informática na Educação. 17-20 de novembro de 2009.

Um Teste Adaptativo Informatizado (TAI) ou Teste Adaptativo Computadorizado (TAC) propõe uma forma de avaliação caracterizada por selecionar as questões segundo os níveis estimados de habilidade (ou proficiência) do estudante. Mediante um conjunto de questões, um TAI tem a principal característica de "individualizar um teste", ou seja, cada aluno participante recebe um elenco de diferentes questões, em diferentes quantidades. Ainda, um TAI seleciona os itens (questões) de forma que valorize o conhecimento do aluno a partir do histórico das questões anteriormente respondidas (Weiss, 1984). Desta forma, pode-se aplicar testes com maior flexibilidade e adaptabilidade, além da redução do tempo, resultados imediatos e maior precisão em relação ao Teste Objetivo Tradicional (Olea et al., 1999). São elementos básicos de um TAI (Conejo, 2001):

• O Modelo de Resposta ao Item, que descreve como o aluno examinado responde ao item, segundo seu nível de habilidade estimado;
• O Método de Seleção dos Itens, que proporciona a seleção do próximo item em função do nível estimado do conhecimento do aluno e da resposta do item previamente ministrado;
• O Banco de Itens (BI), que é um banco de itens (pré) calibrado;
• O Nível de Conhecimento Inicial, que envolve a escolha da primeira questão do teste;
• O Critério de Parada, que é a determinação do término do teste, que pode ser o alcance de um nível pré-estabelecido de habilidade, quantidade máxima de itens em um teste, tempo de teste, etc.

Tratando-se da calibração dos itens do banco, ela pode ser por Calibração Estática ou Calibração Dinâmica (PITON-GONÇALVES, 2004). No caso da segunda abordagem, o Núcleo Interinstitucional de Lingüística Computacional (NILC) do Instituto de Ciências Matemáticas e de Computação da USP/São Carlos vem desenvolvendo testes adaptativos desde 2002 e aplicando desde 2004, por meio do ambiente computacional CALEAP-Web.

Com o objetivo de apoiar o estudo do aluno de pós-graduação do ICMC/USP no gênero de textos científicos em inglês, e também prepará-lo para a avaliação formal de Proficiência em Inglês, foi desenvolvido o Ambiente Computacional de Aprendizagem CALEAP-Web (Piton-Gonçalves et. al, 2004). Tal ambiente foi projetado, desenvolvido e avaliado a partir da integração de um TAI baseado no CBAT-2 (Huang, 1996) e um ambiente computacional que possui tarefas de aprendizagem elaboradas a partir das convenções do gênero de textos científicos. Destacando o TAI do CALEAP-Web, este tem o papel de avaliar o aluno em diferentes habilidades linguísticas, distribuídas em quatro módulos dentro do conhecimento de inglês acadêmico: (1) convenções da língua inglesa para artigos científicos, (2) estrutura esquemática de artigos científicos, (3) compreensão de texto e (4) estratégias de escrita do gênero em questão.

Pesquisas em andamento no ICMC/USP apontam para a abordagem multidimensional de testes adaptativos. Em breve teremos no blog informações sobre essa abordagem.

Referências/Bibliografia

Conejo, R., Mill ́ n, E., Cruz, J. L. P., and Trella, M. (2001). Modelado del alumno: um enfoque bayesiano. Inteligencia Artificial, Revista Iberoamericana de Inteligencia Artificial, (12):50–58.

Huang, S. X. (1996). A content-balanced adaptive testing. in computer aided learning and instruction in science and engineering. CALISCE-Computer Aided Learning and Instruction in Science and Engineering, (3):29–31.

Olea, J., Ponsoda, V., and Prieto, G. (1999). Tests Informatizados Fundamentos y Aplicaciones. Ediciones Piramede.

OLIVEIRA, L. H. M. ; ALUISIO, S. M. ; PITON-GONÇALVES, J. (2004). Criação e aplicação de testes adaptativos informatizados: : um estudo de caso. In: Workshop de Educação em Computação (WEI), 2004, Salvador. Anais do XXIV Congresso da Sociedade Brasileira de Computação.

PITON-GONÇALVES, J. ; ALUISIO, S. M. ; OLIVEIRA, L. H. M. ; OLIVEIRA, O. N. . (2004). A Learning Environment for English for Academic Purposes Based on Adaptive Tests and Task-Based Systems. In: 7th International Conference on Intelligent Tutoring Systems (ITS - 2004), 2004, Maceió. Proceedings of the 7th International Conference on Intelligent Tutoring Systems - Lecture Notes in Computer Science, 2004. v. 3220. p. 1-11.  

Weiss, D. J. and Kingsbury, G. G. (1984). Application of computerized adaptive testing to educational problems. Journal of Education Measurement, 21:361–375.