Hoje em dia, os videogames envolvem bate-papo e, quando as pessoas têm a oportunidade de conversar, nem sempre conseguem manter a classificação G. A popular plataforma de criação de jogos online Roblox, entre muitos outros jogos, há anos usa sistemas de substituição simples para censurar bate-papos. O jogo simplesmente removeria a palavra ofensiva e a substituiria por um monte de cifrões. Agora, Roblox está recorrendo à IA para reformular a frase ofensiva, em vez de apenas bloquear suas letras.
“Usar filtros de IA para bloquear textos problemáticos (visíveis para os usuários como #####) sempre foi fundamental para nossa abordagem de segurança e aumento de civilidade”, disse Rajiv Bhatia, vice-presidente de usuário e produto de descoberta da Roblox, em uma postagem no blog. “Hoje, estamos adicionando um recurso adicional para ajudar a manter a civilidade no bate-papo por texto na experiência: estamos aproveitando a IA para reformular automaticamente as mensagens, começando com palavrões.”
Quando um jogador usa uma palavra problemática no chat, a IA irá reescrever a mensagem para removê-la antes de publicá-la no chat, eliminando assim os sinais de cerquilha. Então, “oh merda, você está bem?” se transforma em “você está bem?” E “apresse-se” torna-se “apresse-se”. (Sim, mesmo que o último não explique tudo, Roblox sabe o que significa F.)
Todos no chat verão que a IA reformulou a mensagem, mas apenas o remetente receberá um aviso sobre o uso de linguagem imprópria no chat.
A mudança ocorre apenas dois meses depois Roblox introduziu reconhecimento facialque classifica os usuários em faixas etárias para limitar o contato entre crianças e adultos. Isso não impediu a ação legal. Nebraska apresentou um processo na quarta-feira visando as supostas falhas de segurança infantil da Roblox, juntando-se ao Texas, Flórida, Louisiana, Kentucky e vários municípios.
Os usuários que enviarem palavrões serão notificados de que sua frase foi reescrita pela IA e avisados sobre o cumprimento das regras.
A linguagem à medida que evolui
As pessoas inventam novas gírias o tempo todo, e muitas delas podem ser consideradas duras ou prejudiciais. A empresa diz que a IA está sendo treinada em “um conjunto de modelos especializados (IA)” baseados em um modelo maior e em amostras de bate-papo no jogo para ajudar a bloquear a linguagem atual. Novas gírias são tratadas quando o sistema de IA não consegue decidir se uma nova palavra ou frase é realmente ruim, enviando-a para um modelo de IA maior e mais altamente treinado, que pode então deduzir seu significado a partir do contexto.
Os jogadores que tentarem repetidamente contornar o novo sistema ou continuarem a usar palavras banidas ainda serão punidos como normalmente seriam de acordo com as regras dos Padrões da Comunidade do jogo.
O novo sistema ainda pode produzir falsos positivos e levar tempo para aprender uma nova linguagem, mas Roblox tem esperança de que acertará na maioria das vezes.
“Nossos experimentos mostram que esta abordagem combinada melhorou significativamente nossos filtros”, disse Bhatia. “Os filtros agora podem detectar melhor a linguagem leet, ou letras substituídas por números ou símbolos, e tentativas mais sofisticadas de contornar nossos filtros.”
