Cabras são ouro da comédia. Eles cabeçada gatos confusos! Eles desmaiar! Eles fazem barulhos hilariantes! Realmente barulhos hilariantes! Eles fazer coisas indescritíveis ao xerife! E às vezes eles são completos e absolutos… bem, digamos apenas que, como australiano, sinto-me compelido a gritar o imortal Kevin, cujo epíteto não deve ser pronunciado na educada companhia americana, mas cujo Carreira no YouTube deveria se alegrar com toda a sua glória desbocada.
A questão é que se você quisesse, digamos, enfatizar o absurdo inerente às afirmações de que grandes modelos de linguagem são de alguma forma sencientes, então, a não ser que realmente conseguisse pegar um papagaio e despejar toda a internet em seu pequeno cérebro de ervilha pós-sauriano, você poderia fazer pior do que ilustrar seu argumento com cabras. E ei, o que você sabe? Parece que um pesquisador da Microsoft fez exatamente isso.
Talvez motivado pela absurdo com tema de singularidade com cérebro de galáxia emergindo de seus contemporâneos em empresas concorrentes, um pesquisador chamado Adrian de Wynter decidiu no início deste ano demonstrar que as reivindicações a favor e contra a senciência dos LLMs exigem alguma forma de realmente medir a validade de tais reivindicações. Em particular, conforme descrito em seu artigo “Se os LLMs têm atributos semelhantes aos humanos, então o mesmo acontece Era dos Impérios II”, de Wynter sentou-se para demonstrar que, atualmente, não temos quaisquer “protocolos experimentais ou escolas de pensamento” confiáveis e amplamente aceitos para avaliar afirmações de senciência.
Como o título sugere, o artigo argumenta que se os LLMs têm atributos semelhantes aos humanos, o mesmo acontece com o clássico da estratégia em tempo real de 1999. Era dos Impérios II. Mas não apenas qualquer parte antiga de Era dos Impérios IImente. Não, são as cabras. De Wynter usou o AoE II editor de cenários para usar as cabras do jogo como componentes em portas lógicas básicas. (Os detalhes de como ele fez isso são interessantes e usam o termo “cabra”, que decidimos usar com a maior freqüência possível daqui para frente.)
Como explica o artigo de Wynter, depois de colocar várias operações lógicas elementares – NAND, XNOR e AND – em funcionamento, você terá tudo o que precisa para construir o que é chamado de perceptron, que é uma das formas mais básicas de inteligência artificial. Ele constrói um perceptron de um bit com suas portas lógicas baseadas em cabras e argumenta que isso constitui efetivamente uma prova de conceito para a construção de um LLM virtual completo baseado em cabras.
Cabras digitais como LLM?
Tudo isso é diversão e jogos, mas qual é o objetivo que De Wynter está querendo dizer aqui? Na verdade, existem dois pontos-chave, e ambos têm a ver com como avaliamos as qualidades antropomórficas de um LLM. O primeiro ponto é que, como demonstrado pelas cabras, “qualquer substrato suficientemente poderoso poderia implementar uma entidade equivalente a um LLM”.
O termo “substrato” é importante aqui e basicamente se refere ao “material” a partir do qual o LLM é construído, seja uma grande base de código armazenada com segurança – bem, alegadamente—em uma empresa como Anthropic ou Open AI, ou um bando de cabras virtuais no AoE II.
O segundo ponto, e provavelmente o mais importante, é que “a referida implementação altera a representação de um LLM e, portanto, pode afetar as suas propriedades percebidas”. Essencialmente, você poderia construir o mesmo LLM em substratos diferentes, da mesma forma que pode executar o mesmo programa em sistemas operacionais diferentes.
No entanto, no caso de um LLM – e, especificamente, no caso de tentar avaliar as qualidades antropomórficas dos LLMs – a natureza do substrato afeta a forma como o LLM é percebido. Crucialmente, isto ocorre independentemente da natureza das suposições feitas sobre as qualidades do LLM: “assumir a existência ou inexistência de atributos antropomórficos generalizados, a fim de testar uma hipótese que prova ou refuta a sua existência, é errado”.
Perguntar se um LLM pode ser senciente é uma pergunta baaah-d
Este é um ponto sutil, por isso vale a pena explorar um pouco mais detalhadamente. Embora as cabras sejam uma demonstração divertida de como os LLMs podem ser construídos, o verdadeiro foco deste artigo é sobre os perigos de fazer suposições – positivas ou negativas – no design experimental, especialmente quando se trata de um tópico que é ao mesmo tempo tão escorregadio e tão carregado quanto a senciência do LLM.
Como Rusty do Today in Tabs argumentou em um excelente ensaio alguns meses atrás, é quase impossível não começar a atribuir qualidades humanas a algo que imita a interação humana tão perfeitamente quanto um LLM como o ChatGPT – durante toda a história humana, a linguagem tem sido reservada aos seres sencientes (ou seja, nós), então quando encontramos algo que usa a linguagem, tendemos a presumir que é inteligente e interagir com ele de acordo.
Esta suposição também permeia a investigação sobre LLMs – e, crucialmente, o mesmo acontece com a reacção contra ela. Partir da posição de que um LLM carece de uma determinada qualidade antropomórfica é tão prejudicial para a investigação como partir da posição de que possui essa qualidade – de qualquer forma, como observa o artigo após uma longa digressão em questões de filosofia, “o que conta como evidência para uma conclusão depende das suposições feitas”.
O problema é que toda a natureza do experimento tende a envolver começar com uma hipótese e depois tentar falsificá-la ou verificá-la. E embora algumas questões sobre LLMs sejam objetivas, questões de antropomorfismo são em grande parte subjetivas. O artigo fornece o seguinte exemplo: “[Take] um experimento que tenta falsificar a eficácia da capacidade de um LLM de fornecer explicações em linguagem natural sobre seus próprios estados. Os LLMs produzem explicações em linguagem natural, e isso é um fato observável. Se isto constitui compreensão de um estado interno é uma atribuição antropomórfica.”
E aqui está o chute: a natureza dessa atribuição pode mudar drasticamente com o substrato sobre o qual um determinado LLM é construído. Isso nos traz de volta às cabras, porque, em teoria, você poderia implementar ChatGPT no AoE II – mas você perceberia essa implementação das respostas do ChatGPT da mesma forma que percebe suas respostas quando elas estão sendo transmitidas a você em seu navegador, ou através de seu alto-falante inteligente falante, ou etc?
Não, diz De Wynter. “Se alguém puder construir um LLM dentro do jogo, então [that LLM’s] atributos antropomórficos percebidos seriam, para ser franco, menos convincentes.” Isso faz sentido, porque com o AoE II ChatGPT baseado em cabras, você pode ver o que está acontecendo: a resposta à sua pergunta está sendo fornecida por um bando de cabras virtuais. “Fazer uma pergunta a um LLM e interpretar a resposta em linguagem natural como [the LLM’s] a própria opinião é tão válida quanto interpretar a resposta da AoE II à mesma pergunta observando as cabras.”
Mas o LLM em si não mudou em nada – tudo o que mudou foi a forma de sua implementação. Então aqui está o ponto: “A construção deste artigo pretende ilustrar a ilusão de atributos antropomórficos em um LLM. Se tanto um LLM quanto um AoE II-LLM apresentam o mesmo comportamento de entrada/saída, mas não apresentam os mesmos atributos antropomórficos relacionados à interface (por exemplo, latência ou uma interface textual), então podemos notar que uma grande parte desses atributos são atribuídos a eles com base nas expectativas do observador. “
Então, da próxima vez que você perguntar ao ChatGPT se deve ou não enviar uma mensagem de texto ao seu ex ou tomar um determinado coquetel de drogas, lembre-se das cabras. Sua resposta vem de um monte de Kevins virtuais correndo de um lado para outro em canetas.
