No início deste ano, o Twitter foi inundado com imagens não consensuais de pessoas nuas, incluindo crianças, geradas por Grok da xAI. Acontece que o problema não se limitou apenas ao Twitter. De acordo com uma ação movida na segunda-feira no Distrito Norte da Califórnia e relatada pela primeira vez pelo Washington Post, um grupo de adolescentes está processando a empresa de IA de Elon Musk por alegações de que uma pessoa usou o modelo da xAI para gerar imagens e vídeos sexualizados deles. O caso é o primeiro caso em que menores intentaram ações judiciais contra as empresas que permitem a geração de material sexual não consensual.
A ação coletiva – movida por três demandantes, incluindo dois menores – alega que a xAI conscientemente projetou, comercializou e lucrou com o uso de seu modelo de geração de imagem e vídeo, que foi usado para criar material sexualmente explícito de pessoas, incluindo mais de 18 meninas que foram assediadas no caso que levou a este processo. Eles também alegam que a xAI não implementou medidas de prevenção de materiais de abuso sexual infantil que, de outra forma, seriam consideradas uma proteção padrão da indústria.
No centro do caso contra a xAI está uma situação verdadeiramente angustiante para estas adolescentes, que teriam sido assediadas por um indivíduo que passou meses a gerar e distribuir imagens sexualizadas delas. O autor do crime, que foi preso em dezembro após uma investigação policial, de acordo com o Washington Postsupostamente tirou fotos e vídeos das contas das meninas nas redes sociais e os usou para gerar imagens nuas e sexualmente explícitas delas. Essas imagens foram então vendidas e negociadas entre comunidades no Discord e no Telegram, onde continuaram a persistir. Algumas meninas tomaram conhecimento das imagens após serem contatadas nas redes sociais e informaram que estavam sendo divulgadas.
Quando a polícia prendeu o responsável pela confecção das imagens, determinou que ele usou Grok para criá-las. Grok também foi usado para gerar imagens sexuais não consensuais de pessoas no Twitter, cerca de 23 mil fotos que pareciam retratar crianças em situações sexuais, segundo pesquisadores que investigou as postagens.
Na época em que essas imagens estavam se espalhando no Twitter, o CEO da xAI (e do Twitter), Elon Musk, reivindicado“Não tenho conhecimento de nenhuma imagem de menores nus gerada por Grok. Literalmente zero”, e disse: “Quando solicitado a gerar imagens, ele se recusará a produzir qualquer coisa ilegal, pois o princípio operacional do Grok é obedecer às leis de qualquer país ou estado.” Na época, Grok estava sendo usado para retratar pessoas, inclusive crianças, de biquíni sem o seu consentimento. Musk fez postagens seguindo essa tendência, incluindo uma imagem retratando um foguete de biquíni – aparentemente sugerindo que ele estava ciente da tendência, estivesse ou não ciente de que ela estava sendo usada em imagens de crianças. Semanas depois, a empresa anunciou que acrescentaria restrições à geração de imagens e fez referência a pessoas que “tentam abusar da conta Grok para violar a lei”, mas não reconheceu diretamente a geração de CSAM.
Musk e xAI também promoveram a capacidade de Grok ser usado para atividades sexualmente explícitas através de seu Modo “picante”que pode ser usado para geração de texto, imagem e vídeo. A ação coletiva alega que a empresa e seu CEO estavam mais conscientes de como a ferramenta estava sendo usada do que deixavam transparecer, alegando que “viram uma oportunidade de negócio: uma oportunidade de lucrar com a predação sexual de pessoas reais, incluindo crianças”.
xAI não respondeu a um pedido de comentário sobre o processo.
