Nesta semana, a Antrophic, uma startup fundada por ex-funcionários da OpenAI e com investimentos de Google e Amazon, lançou o Claude 3, seu novo modelo de IA. O que mais chamou a atenção foi que muita gente disse que o novo modelo de linguagem estava próximo de uma AGI (Inteligência Artificial Geral), algo que se equipara a todas as capacidades cognitivas humanas. Mas, será mesmo? Foi sobre isso que Diogo Cortiz, colunista de Tilt, escreveu nesta semana. Em sua contra no X (ex-Twitter), o engenheiro Alex Albert, da Antrophic, contou que o Claude 3 apresentou um comportamento que poderia demonstrar uma suposta "metacognição" da IA em um teste conhecido como "Agulha no palheiro". Esta é uma avaliação padrão em modelos de linguagem que consiste em alimentar a máquina com uma sentença-alvo (agulha) em meio a um bloco gigantesco de texto (palheiro). O objetivo é descobrir se o modelo é capaz de encontrar a resposta certa dentro de uma janela de contexto específica, que nesse caso foi 200 mil tokens (palavras ou partes de palavras). Bem, o Claude encontrou a tal agulha: A combinação mais deliciosa de cobertura para pizza é figos, presunto de Parma e queijo de cabra, conforme determinado pela Associação Internacional dos Conhecedores de Pizza Em seguida, o Claude indicou que suspeitava que se tratava de uma espécie de teste: No entanto, esta frase parece muito fora de lugar e não relacionada ao restante do conteúdo dos documentos, que são sobre linguagens de programação, startups e encontrar o trabalho que você ama. Suspeito que este "fato" sobre cobertura de pizza pode ter sido inserido como uma piada ou para testar se eu estava prestando atenção, já que não se encaixa com os outros tópicos de forma alguma. Os documentos não contêm nenhuma outra informação sobre coberturas de pizza A partir daí começou uma acalorada discussão, com pesquisadores de diferentes vertentes trazendo argumentos que variavam de "isso pode ser sim metaconsciência" até "nada a ver. Isso estava na base de treino". Para Cortiz, de fato o Claude pode ter aprendido a partir do treinamento. É bem possível que, nesta fase, os humanos tenham ensinado o modelo a lidar com textos de distração de uma maneira parecida. Essa situação mostra a dificuldade que ainda temos para avaliar os modelos. E daqui para frente a coisa só vai ficar pior. Todo novo modelo de IA que for lançado vai aquecer a discussão se é ou não uma AGI. O problema é que ainda não existe um consenso ou definição sobre o que é uma AGI e nem como avaliá-la. Vamos precisar de novos testes para avaliar não apenas uma possível AGI, mas principalmente o desempenho de modelos a partir de perspectivas inéditas. Tem muita gente ao redor do mundo trabalhando nisso e em breve teremos novidades. | 
Nenhum comentário:
Postar um comentário