Chatgpt não apenas passou no teste de Turing … ele o devolveu!

Como distinguir um chatbot de um humano? Em 1950, o matemáticomatemático Britânico Alan TuringAlan Turing havia proposto um teste para avaliar ointeligênciainteligência de uma máquina com um humano (o interrogador) que discute por escrito, ambos com um IAIA e outro humano (testemunhas). Se o interrogador não conseguir determinar qual é o chatbot, é considerado capaz de pensar como humano.

Em um artigo em pré -publicação, pesquisadores da Universidade da Califórnia em San Diego enviaram vários modelos de idiomas importantes a um teste de Turing, com resultados surpreendentes. O estudo ocorreu em duas fases, a primeira com 138 alunos da universidade, a segunda com 169 voluntários recrutados on -line. Eles participaram de uma série de oito jogos, metade dos quais como interrogador, a outra metade como testemunha.

Um chatbot considerou mais humano que os humanos

Os pesquisadores pediram quatro chatbots: Eliza, o primeiro chatbot criado em 1966, GPT-4O, LLAMA-3.1-405B e GPT-4GPT-4.5. Em metade dos casos, Llama-3.1 e GPT-4.5 receberam as instruções para se comportar como um humano. Sem surpresa, Eliza só foi designada como seres humanos em 23 % dos casos. Mais surpreendente, o GPT-4O teve uma pontuação ainda mais baixa, com apenas 21 %. Para os outros dois, suas pontuações foram muito maiores com a instrução para adotar o comportamento humano. A LLAMA-3.1 foi designada como humana em 56 % dos casos, mas para os pesquisadores não era suficiente de uma chance.

A grande surpresa foi o GPT-4.5. Sem instruções, ele obtém apenas uma pontuação de 36 %. Com as instruções para fingir ser humano, os participantes o nomearam como tal em 73 % dos casos, em vez da outra pessoa com quem discutiram. É uma pontuação impressionante, mas o que não significa que o chatbot tenha excedido os seres humanos. Acima de tudo, destaca a evolução da maneira como a IA é percebida. Diante de pessoas que usam regularmente chatbots, a pontuação pode ser diferente.