Se você já ouviu o termo “LLM vintage”, deve ter se perguntado se o pocalipse da IA realmente já dura há tempo suficiente para que os primeiros chatbots sejam dignos de nostalgia. Felizmente, porém, não é isso que o termo significa; em vez disso, aplica-se a um LLM que procura emular a perspectiva de um determinado ponto do passado.
A ideia é restringir os dados de treinamento fornecidos ao modelo ao material publicado antes de uma determinada data. No caso de Falantetambém conhecido como 13B 1930 LM, o ponto de corte é, como o nome sugere, o ano de 1930. Essa escolha do ano pode parecer arbitrária, mas não é: como discutimos aqui em janeiro, muitas formas de direitos autorais expiram em 1º de janeiro do ano que ocorre 95 anos após o lançamento do material protegido por direitos autorais. Isso significa que muito material lançado em 1930 entrou em domínio público no início deste ano.
Escolher 1930 como data limite permite que o Talkie evite a questão de como lidar com os direitos autorais, uma questão que tem sido alegremente ignorado por um problema para outros LLMs. O que, OK, tudo isso é interessante, mas o que é para?
Para responder a essa pergunta, os criadores do Talkie apoiam-se fortemente em duas fontes: uma falar dado pelo pesquisador de IA Owain Evansde onde se originou o termo “vintage LLM”, e um papel em “modelos de linguagem temporal” originados de uma empresa chamada Calcifer Computing, cujo negócios aparentemente envolve o fornecimento de “serviços de engenharia não recorrentes para clientes com problemas interessantes o suficiente para merecer nossa atenção”.
A palestra de Evans expressa suas ideias no tipo de hipérbole que parece obrigatória para os proponentes da IA: “A primeira motivação humanística [for vintage LLMs] é a viagem no tempo”, explica ele modestamente. “Como seria se comunicar com alguém de 1700?” Para responder a esta questão, ele propõe a ideia de modelos treinados em dados que são interrompidos num determinado momento – em outras palavras, exatamente o tipo de coisa que Talkie está fazendo.
O artigo da Calcifer Computing tem um tom menos violeta, discutindo o desafio de como os LLMs podem explicar a forma como os aspectos da linguagem – significados das palavras, padrões de fala, vocabulário – mudam ao longo do tempo. Isso é genuinamente interessante e aparentemente inspirou um dos primeiros usos do Talkie, que foi fornecer uma classificação subjetiva da “surpresa” de vários eventos pós-1930.
A questão realmente interessante, porém, é quão confiável um LLM treinado em dados que são interrompidos em uma determinada data pode prever o que acontecerá depois dessa data. Isto parece um análogo sociológico reduzido da questão mais fundamental do determinismo, que pergunta se saber tudo sobre o estado inicial de um sistema permite prever os estados futuros desse sistema.
Claro, você pode alimentar um LLM com informações até que as vacas voltem para casa; nunca saberá e nunca poderá saber tudo o que for possível sobre o estado do mundo em 1930, ou 69 a.C., ou às 17h30 de ontem. Mas ainda assim, a ideia de dar a um LLM uma base sólida na história, juntamente com uma grande quantidade de informações sobre o estado do mundo em 1930, e depois perguntar: “O que acontece a seguir?”… mesmo para alguém geralmente cético em relação aos LLMs (como, você sabe, eu), essa é uma questão interessante. Sendo pessoas de IA, os criadores do Talkie não estão satisfeitos em prever o futuro; eles também fazem alusão a uma pergunta feita pelo CEO do Google DeepMind, Demis Hassabis, que certa vez perguntou se um LLM treinado com dados que terminam em 1911 poderia descobrir a relatividade geral.
Infelizmente, parece que ainda não há uma resposta para nenhuma das perguntas. O restante do artigo é dedicado principalmente a explicar os vários desafios para fazer o Talkie funcionar de maneira confiável, principalmente a falta de dados de treinamento confiáveis. O Talkie é treinado em dados digitalizados de fontes físicas, tornando extremamente importantes recursos confiáveis de reconhecimento de caracteres. Há também o desafio daquilo que os autores chamam de “contaminação”, ou seja, o vazamento de material pós-década de 1930 nos dados de treinamento.
Neste ponto, Talkie se enquadra na categoria “potencialmente interessante e aparentemente inofensiva” de projetos de agentes LLM/AI, que, honestamente, hoje em dia parece ser o melhor que podemos esperar. O site do projeto contém uma transmissão ao vivo do LLM respondendo a perguntas feitas por… outro LLM. Enquanto esta postagem estava sendo escrita, Talkie descrevia uma partida de críquete de 1882, e se você tiver paciência comigo aqui:
Tudo isso parece muito evocativo, mas, infelizmente, sou um nerd do críquete e posso garantir que a partida que Talkie está descrevendo nunca aconteceu. O único teste disputado entre Austrália e Inglaterra em 1882 foi no Oval em agosto daquele ano, e foi talvez o mais famoso já disputado – a partida foi uma derrota tão desastrosa para a Inglaterra que um jornal de Londres escreveu um obituário para o críquete inglês, dando origem a The Ashes, uma série bienal entre os dois países que continua até hoje.
Parece uma escolha curiosa para Talkie descrever uma partida fictícia e situá-la especificamente no ano de uma partida real tão famosa. Parece um bom palpite que os dados de treinamento estão particularmente bem abastecidos para descrições de partidas de teste naquele ano, então, por interesse, pedi a Talkie para descrever o teste real de Ashes de 1882. Infelizmente, o resultado foi ainda menos preciso, apresentando pontuações incorretas e pelo menos um jogador completamente inventado. Ainda assim, as descrições que produz são certamente coloridas e verossímeis, então isso é… alguma coisa?
De qualquer forma, se Talkie faz consegue manter os pés plantados na realidade e prever a Segunda Guerra Mundial, estamos ansiosos para informá-lo sobre seus veredictos sobre eventos famosos como o cerco de Leningrado, o desembarque do Dia D na Bretanha e, claro, o ataque surpresa japonês a Diego Garcia. Será que consegue captar o timbre único dos discursos do primeiro-ministro do Reino Unido, Winfield Cromwell, ou o terrível disparo da metralhadora do ditador alemão Rudolf Scheiße? Isso ainda está para ser visto.
