O feed do LinkedIn atinge mais de 1,3 bilhão de membros – e a arquitetura por trás dele não acompanhou o ritmo. O sistema acumulou cinco pipelines de recuperação separados, cada um com sua própria infraestrutura e lógica de otimização, servindo diferentes fatias do que os usuários poderiam querer ver. Os engenheiros da empresa passaram o último ano desmontando isso e substituindo-o por um único sistema baseado em LLM. O resultado, diz o LinkedIn, é um feed que entende o contexto profissional com mais precisão e custa menos para ser executado em grande escala.
A reformulação tocou três camadas da pilha: como o conteúdo é recuperado, como é classificado e como a computação subjacente é gerenciada. Tim Jurka, vice-presidente de engenharia do LinkedIn, disse à VentureBeat que a equipe realizou centenas de testes no ano passado antes de atingir um marco que, segundo ele, reinventou grande parte de sua infraestrutura.
“Começando com todo o nosso sistema de recuperação de conteúdo, passamos a usar LLMs de grande escala para compreender o conteúdo de forma muito mais rica no LinkedIn e poder combiná-lo de uma forma muito mais personalizada com os membros”, disse Jurka. “Até a forma como classificamos o conteúdo, usando modelos de sequência muito, muito grandes, recomendações generativas e combinando esse sistema de ponta a ponta para tornar as coisas muito mais relevantes e significativas para os membros.”
Um feed, 1,3 bilhão de membros
O principal desafio, disse Jurka, é duplo: o LinkedIn tem de combinar os interesses profissionais declarados dos membros – o seu título, competências, indústria – com o seu comportamento real ao longo do tempo, e tem de revelar conteúdo que vai além do que a sua rede imediata está a publicar. Esses dois sinais freqüentemente puxam em direções diferentes.
As pessoas usam o LinkedIn de maneiras diferentes: algumas procuram se conectar com outras pessoas em seu setor, outras priorizam a liderança inovadora e os candidatos a emprego e recrutadores usam-no para encontrar candidatos.
Como o LinkedIn unificou cinco pipelines em um
O LinkedIn passou mais de 15 anos construindo sistemas de recomendação baseados em IA, incluindo trabalhos anteriores sobre busca de emprego e busca de pessoas. O feed do LinkedIn, aquele que saúda você quando você abre o site, foi construído em uma arquitetura heterogênea, disse a empresa em uma postagem no blog. O conteúdo fornecido aos usuários veio de várias fontes, incluindo um índice cronológico da rede de um usuário, tópicos de tendências geográficas, filtragem baseada em interesses, conteúdo específico do setor e outros sistemas baseados em incorporação.
A empresa disse que esse método significava que cada fonte tinha sua própria infraestrutura e estratégia de otimização. Mas enquanto funcionava, os custos de manutenção dispararam. Jurka disse que usar LLMs para expandir seu novo algoritmo de recomendação também significava atualizar a arquitetura circundante do feed.
“Há muita coisa envolvida nisso, incluindo como mantemos esse tipo de contexto de membro em um prompt, garantindo que fornecemos os dados corretos para hidratar o modelo, dados de perfil, dados de atividades recentes, etc”, disse ele. “A segunda é como você realmente amostra os tipos de dados mais significativos para então ajustar o LLM.”
O LinkedIn testou diferentes iterações do mix de dados em um ambiente de teste offline.
Um dos primeiros obstáculos do LinkedIn na renovação de seu sistema de recuperação girava em torno da conversão de seus dados em texto para processamento pelos LLMs. Para fazer isso, o LinkedIn construiu uma biblioteca de prompts que permite criar sequências de modelos. Para as postagens, o LinkedIn se concentrou no formato, nas informações do autor, na contagem de engajamento, nos metadados do artigo e no texto da postagem. Para os membros, eles incorporaram dados de perfil, habilidades, histórico de trabalho, educação e “uma sequência ordenada cronologicamente de postagens com as quais eles se envolveram anteriormente”.
Uma das descobertas mais importantes dessa fase de testes envolveu como os LLMs lidam com os números. Quando uma postagem tinha, digamos, 12.345 visualizações, esse número aparecia no prompt como “visualizações: 12.345” e o modelo o tratava como qualquer outro token de texto, retirando-lhe sua importância como sinal de popularidade. Para corrigir isso, a equipe dividiu as contagens de engajamento em grupos percentuais e os envolveu em tokens especiais, para que o modelo pudesse distingui-los do texto não estruturado. A intervenção melhorou significativamente a forma como o sistema avalia o pós-alcance.
Ensinando o feed a ler a história profissional como uma sequência
É claro que, se o LinkedIn quiser que seu feed pareça mais pessoal e que as postagens alcancem o público certo, ele também precisa reimaginar a forma como classifica as postagens. Os modelos tradicionais de classificação, disse a empresa, entendem mal como as pessoas se envolvem com o conteúdo: que não é aleatório, mas segue padrões emergentes da jornada profissional de alguém.
O LinkedIn construiu um modelo proprietário de Recomendação Generativa (GR) para seu feed que trata o histórico de interação como uma sequência, ou “uma história profissional contada por meio de postagens com as quais você se envolveu ao longo do tempo”.
“Em vez de pontuar cada postagem isoladamente, o GR processa mais de mil de suas interações históricas para compreender padrões temporais e interesses de longo prazo”, disse o blog do LinkedIn. “Tal como acontece com a recuperação, o modelo de classificação depende de sinais profissionais e padrões de envolvimento, nunca de atributos demográficos, e é regularmente auditado para tratamento equitativo em toda a nossa base de membros.”
O custo computacional da execução de LLMs na escala do LinkedIn
Com um pipeline e feed de dados revitalizados, o LinkedIn enfrentou outro problema: o custo da GPU.
O LinkedIn investiu pesadamente em uma nova infraestrutura de treinamento para reduzir o quanto depende de GPUs. A maior mudança arquitetônica foi desagregar o processamento de recursos vinculados à CPU da inferência de modelo com uso intenso de GPU – mantendo cada tipo de computação fazendo o que é adequado, em vez de gargalos na disponibilidade da GPU. A equipe também escreveu carregadores de dados C++ personalizados para reduzir a sobrecarga que o multiprocessamento Python estava adicionando e construiu uma variante Flash Attention personalizada para otimizar o cálculo de atenção durante a inferência. O checkpoint foi paralelizado em vez de serializado, o que ajudou a extrair mais memória disponível da GPU.
“Uma das coisas que tivemos que projetar foi que precisávamos usar muito mais GPUs do que gostaríamos”, disse Jurka. “Ser muito cuidadoso sobre como você coordena as cargas de trabalho de CPU e GPU, porque o bom desses tipos de LLMs e do contexto de prompt que usamos para gerar embeddings é que você pode escalá-los dinamicamente.”
Para engenheiros que criam sistemas de recomendação ou recuperação, o redesenho do LinkedIn oferece um estudo de caso concreto sobre o que realmente exige a substituição de pipelines fragmentados por um modelo de incorporação unificado: repensar como os sinais numéricos são representados em prompts, separar deliberadamente as cargas de trabalho de CPU e GPU e construir modelos de classificação que tratem o histórico do usuário como uma sequência em vez de um conjunto de eventos independentes. A lição não é que os LLMs resolvem problemas de feed – é que implementá-los em escala força você a resolver uma classe de problemas diferente daquela com a qual começou.
