Grandes modelos de linguagem desafiam o futuro do ensino superior

Jan 15, 2024

Nature Machine Intelligence volume 5, páginas 333–334 (2023) Cite este artigo

5221 acessos

1 Citações

20 Altmétrico

Detalhes das métricas

ChatGPT é um chatbot baseado em um grande modelo de linguagem (LLM) que gera texto em formato de diálogo. Foi lançado publicamente pela OpenAI em dezembro de 2022 e chocou o setor de ensino superior por sua capacidade de criar textos polidos e confiantes, que podem ser usados ​​para escrever ensaios e trabalhos. Embora, por enquanto, ele possa produzir respostas1 que são competentes o suficiente apenas para obter uma nota de aprovação, ele é capaz de responder corretamente a perguntas de múltipla escolha em várias áreas de assunto, incluindo a aprovação de perguntas de amostra de exames de licenciamento de alto nível. A taxa de progresso de tais aplicativos tem sido tal que não é difícil imaginar que um sucessor muito melhorado do ChatGPT será lançado em breve.

Uma questão que se coloca é se e como o ensino superior deve reagir. As universidades devem proibir seu uso? Ou os acadêmicos devem aceitar que os modelos de linguagem se tornarão parte integrante de seu kit de ferramentas profissional e incorporá-los em nossas práticas de ensino e avaliação?

Em um nível prático, permitir o uso de ferramentas baseadas em LLM impactaria a estrutura da avaliação. E no nível de conduta profissional, muitos compartilham o sentimento de que o uso de texto produzido por um LLM equivale a cometer plágio. Como as universidades já têm penalidades severas para sancionar o plágio por outros meios, parece natural estendê-las aos LLMs. Um problema com essa abordagem, no entanto, é que será difícil aplicá-la. Ao contrário de copiar e colar ou parafrasear, os LLMs produzem um novo texto que não é rastreável a uma única fonte e, embora o software para verificar a probabilidade de trapaça com o LLM tenha sido lançado (ref. 2), sua confiabilidade parece ser baixa para agora. Além disso, qualquer tentativa de atualizar o software de detecção provavelmente falhará3 diante dos LLMs em rápida evolução.

Outra reação de algumas universidades foi (pelo menos temporariamente) voltar ao antiquado papel e caneta, exames supervisionados como seu principal modo de avaliação. Embora essa solução reduza drasticamente a trapaça relacionada ao LLM no curto prazo, é improvável que seja sustentável ou amplamente aplicável. A abordagem só pode ser usada em instituições tradicionais onde os alunos estão fisicamente presentes e é um movimento regressivo em relação às transformações digitais na entrega e avaliação do ensino superior4 que foram instigadas pela pandemia global do COVID-19. Transformar a avaliação escrita em provas orais pode ser mais adequado para ambientes digitais, mas isso traz preocupações de confiabilidade, validade e escalabilidade.

Um terceiro tipo de reação aos LLMs, e talvez o único sustentável, é adaptá-los e adotá-los, conforme previsto em recente editorial5 desta revista e consistente com o recente anúncio do International Baccalaureate sobre suas qualificações6. Existem muitas possibilidades de experimentar e ser criativo com o ChatGPT ao ensinar e avaliar os alunos. No entanto, a adoção do ChatGPT (ou aplicativos similares de propriedade privada) como parte da prática padrão gera sérios riscos de consequências operacionais, financeiras, pedagógicas e éticas negativas para as universidades. Em particular, a OpenAI não tem obrigação de atender às necessidades das instituições de ensino quando se trata de manutenção e acesso ao seu modelo, criando problemas operacionais básicos se isso fizer parte da avaliação.

As implicações pedagógicas de longo prazo de aceitar LLMs como ferramentas de aprendizagem também precisam ser consideradas. Praticar a escrita acadêmica é uma maneira comum de ensinar e avaliar a argumentação lógica e o pensamento crítico7 (que, ironicamente, são habilidades necessárias para avaliar o resultado de um LLM). Alunos de língua estrangeira ou alunos com deficiência educacional provavelmente serão os mais afetados, com os educadores colocando menos ênfase em aprender como elaborar textos bem escritos e argumentados. Isso pode acabar fortalecendo as divisões sociais e diminuindo a mobilidade social quando os alunos se formarem e forem lançados em ambientes de trabalho onde os LLMs podem não estar disponíveis ou não serem úteis.