Autores: Simon Frieder, Luca Pinchetti, Ryan-Rhys Griffiths, Tommaso Salvatori, Thomas Lukasiewicz, Philipp Christian Petersen, Alexis Chevalier, Julius Berner
Link para acesso e download: https://arxiv.org/abs/2301.13867
Resumo
Nós investigamos as capacidades matemáticas do ChatGPT testando-o em conjuntos de dados disponíveis publicamente, bem como em conjuntos de dados feitos manualmente, e medindo seu desempenho em comparação a outros modelos treinados em um corpus matemático, como o Minerva. Também testamos se o ChatGPT pode ser um assistente útil para matemáticos profissionais, emulando vários casos de uso que surgem nas atividades profissionais diárias de matemáticos (resposta a perguntas, busca de teoremas). Em contraste com a matemática formal, onde grandes bancos de dados de provas formais estão disponíveis (por exemplo, a Biblioteca Matemática Lean), conjuntos de dados atuais de matemática em linguagem natural, usados para avaliar modelos de linguagem, cobrem apenas a matemática elementar. Abordamos essa questão introduzindo um novo conjunto de dados: GHOSTS. É o primeiro conjunto de dados em linguagem natural feito e curado por pesquisadores que trabalham em matemática, que (1) visa cobrir a matemática de nível de pós-graduação e (2) fornece uma visão geral holística das capacidades matemáticas dos modelos de linguagem. Avaliamos o desempenho do ChatGPT em GHOSTS e o comparamos com critérios refinados. Tornamos este novo conjunto de dados disponível publicamente para auxiliar uma comparação impulsionada pela comunidade do ChatGPT com modelos de linguagem (futuros) em termos de compreensão matemática avançada. Concluímos que, ao contrário de muitos relatórios positivos na mídia (um possível caso de viés de seleção), as capacidades matemáticas do ChatGPT estão significativamente abaixo das de um estudante de matemática médio. Nossos resultados mostram que o ChatGPT muitas vezes entende a pergunta, mas não consegue fornecer soluções corretas. Portanto, se seu objetivo é usá-lo para passar em um exame universitário, você estaria melhor copiando de um colega médio!
