De acordo com um relatório do portal TechCrunch, os modelos mais recentes de inteligência artificial ChatGPT o3 e o4-mini estão apresentando o dobro de “alucinações” em comparação com versões menos avançadas e não baseadas em raciocínio.
No contexto de redes neurais, “alucinações” referem-se a respostas que não correspondem à realidade, mas que são fornecidas pela IA com total convicção de sua veracidade. Em particular, durante o teste PersonQA, que avalia o conhecimento do ChatGPT sobre pessoas, o modelo o3 apresentou alucinações em 33% dos casos, e o o4-mini em 43% das consultas. Em contraste, o modelo o3-mini apresentou uma taxa de alucinação inferior a 15%.
Outro teste, chamado Transluce e conduzido por um desenvolvedor independente, revelou que o modelo o3 tem uma tendência a inventar suas próprias ações. Por exemplo, em uma consulta, a IA respondeu que havia executado um código de programação em um Apple MacBook Pro de 2021 “fora do ChatGPT” e copiado números para sua resposta. No entanto, na prática, o algoritmo não lhe concedeu tais capacidades.
Uma das estratégias para lidar com as alucinações é fornecer à IA a opção de utilizar a pesquisa na web, onde informações confiáveis são mais facilmente encontradas. Este método se mostrou eficaz no modelo o4 não baseado em raciocínio, e os desenvolvedores esperam que ele também possa auxiliar as versões mais avançadas da inteligência artificial.
