Desde o lançamento do ChatGPT no fim de 2022, milhões de pessoas passaram a recorrer a modelos de linguagem de grande porte (LLMs) para encontrar conhecimento. O apelo é fácil de ver: basta fazer uma pergunta, receber uma síntese bem escrita e seguir em frente - a sensação é de aprendizado sem esforço.
Um novo artigo acadêmico que coassinei, porém, traz evidências experimentais de que essa facilidade pode ter um preço. Quando as pessoas dependem de LLMs para resumir informações sobre um tema, elas tendem a desenvolver um conhecimento mais superficial do que quando aprendem por meio de uma busca padrão no Google.
Eu e o coautor Jin Ho Yun - ambos professores de marketing - descrevemos esse resultado em um trabalho baseado em sete estudos com mais de 10.000 participantes.
Como o estudo comparou ChatGPT e a busca no Google
Na maior parte dos estudos, usamos o mesmo desenho básico. Os participantes precisavam aprender sobre um assunto - por exemplo, como cultivar uma horta de legumes - e foram distribuídos aleatoriamente para fazer isso de duas formas: usando um LLM como o ChatGPT ou pelo caminho “à moda antiga”, navegando por links em uma busca comum no Google.
Não impusemos restrições sobre como utilizar as ferramentas. Eles podiam pesquisar no Google pelo tempo que quisessem e continuar enviando novos comandos ao ChatGPT se julgassem necessário obter mais informações.
Depois de terminar a pesquisa, cada pessoa foi orientada a escrever conselhos para um amigo sobre o tema, com base no que havia aprendido.
O que os sete estudos mostraram
Os dados apontaram um padrão consistente. Em comparação com quem aprendeu via busca na web, participantes que aprenderam com um LLM relataram ter aprendido menos, colocaram menos esforço ao redigir os conselhos e, no fim, escreveram orientações mais curtas, com menos fatos e mais genéricas.
Em seguida, esses textos foram apresentados a uma amostra independente de leitores - que não sabiam qual ferramenta tinha sido usada para aprender o assunto. Esses leitores consideraram os conselhos menos informativos e menos úteis, além de se mostrarem menos propensos a adotá-los.
Observamos que as diferenças se mantiveram em diversos contextos. Uma explicação possível para os usuários de LLMs produzirem conselhos mais breves e genéricos seria simplesmente o fato de as respostas do LLM exporem a pessoa a informações menos variadas do que os resultados do Google.
Para controlar essa possibilidade, fizemos um experimento em que os participantes tiveram acesso exatamente ao mesmo conjunto de fatos tanto nos resultados da busca no Google quanto nas respostas do ChatGPT.
De modo semelhante, em outro experimento mantivemos constante a plataforma de busca - o Google - e variamos se os participantes aprendiam a partir dos resultados padrão ou do recurso de Visão Geral com IA do Google.
Os resultados confirmaram que, mesmo quando os fatos e a plataforma são mantidos constantes, aprender por meio de respostas sintetizadas por LLM leva a um conhecimento mais superficial do que coletar, interpretar e sintetizar informações por conta própria a partir de links tradicionais.
Por que isso importa
Por que o uso de LLMs parece reduzir o aprendizado? Um dos princípios mais fundamentais do desenvolvimento de habilidades é que as pessoas aprendem melhor quando estão ativamente engajadas com o material.
Ao aprender sobre um tema com uma busca no Google, existe muito mais “atrito”: é preciso abrir diferentes links, ler fontes informativas e interpretar e sintetizar esse conteúdo por conta própria.
Embora seja mais trabalhoso, esse atrito contribui para formar uma representação mental mais profunda e mais original do assunto. Já com LLMs, esse processo inteiro é feito em nome do usuário, transformando o aprendizado de uma atividade mais ativa em uma experiência mais passiva.
O que vem a seguir?
Para deixar claro, não acreditamos que a solução seja evitar LLMs - especialmente diante dos benefícios inegáveis que eles oferecem em muitos cenários.
Nossa mensagem, na verdade, é que as pessoas precisam se tornar usuárias mais inteligentes ou mais estratégicas de LLMs - e isso começa por entender em quais domínios eles ajudam e em quais podem atrapalhar os objetivos.
Precisa de uma resposta rápida e factual? Use à vontade o seu copiloto de IA preferido. Mas, se a meta é construir um conhecimento profundo e generalizável em uma área, depender apenas de sínteses de LLM tende a ser menos útil.
Como parte da minha pesquisa sobre a psicologia de novas tecnologias e novas mídias, também me interessa saber se é possível tornar o aprendizado com LLMs mais ativo. Em outro experimento, testamos isso fazendo participantes interagirem com um modelo GPT especializado que exibia links da web em tempo real junto das respostas sintetizadas.
Ainda assim, descobrimos que, depois de receber um resumo do LLM, os participantes não se sentiam motivados a explorar mais as fontes originais. O resultado foi que eles continuaram a desenvolver um conhecimento mais superficial do que aqueles que usaram o Google de forma padrão.
A partir disso, pretendo investigar, em pesquisas futuras, ferramentas de IA generativa que imponham “atritos saudáveis” em tarefas de aprendizagem - em especial, examinando quais tipos de “barreiras de proteção” ou “lombadas” funcionam melhor para incentivar usuários a aprender ativamente além de respostas fáceis e sintetizadas.
Essas ferramentas parecem especialmente importantes no ensino básico e médio, em que um grande desafio para educadores é encontrar a melhor forma de capacitar estudantes a desenvolver habilidades fundamentais de leitura, escrita e matemática, ao mesmo tempo em que se preparam para um mundo real no qual LLMs provavelmente serão parte integrante do dia a dia.
O Resumo da Pesquisa é um texto curto sobre trabalhos acadêmicos interessantes.
Shiri Melumad, Professora Associada de Marketing, Universidade da Pensilvânia
Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário