2026 começou com um exemplo horrível do potencial de abuso da IA generativa. Grok, a ferramenta de IA do xAI de Elon Musk, foi usado despir ou nudificar fotos de pessoas compartilhadas no X (antigo Twitter) em um ritmo alarmante. Grok fez 3 milhões de imagens sexualizadas durante um período de 11 dias em janeiro, com aproximadamente 23 mil delas contendo imagens de crianças, de acordo com um estudo do Centro de Combate ao Ódio Digital.
Agora, concorrentes como OpenAI e Google estão intensificando sua segurança para evitar serem o próximo Grok.
Os defensores e pesquisadores de segurança há muito se preocupam com a capacidade da IA de criar conteúdo abusivo e ilegal. A criação e o compartilhamento de imagens íntimas não consensuais, às vezes chamadas de pornografia de vingança, eram um grande problema antes da IA. A IA generativa apenas torna mais rápido, fácil e barato para qualquer pessoa atingir e vitimar pessoas.
Em 14 de janeiro, duas semanas após o início do escândalo, a conta de segurança de X confirmou em um publicar que isso interromperia a capacidade de Grok de editar imagens no aplicativo de mídia social. As habilidades de geração de imagens da Grok ainda estão disponíveis para assinantes pagantes em seu aplicativo e site independentes. X não respondeu a vários pedidos de comentários.
A maioria das grandes empresas possui salvaguardas para evitar o tipo de abuso em larga escala que vimos ser possível com Grok. Mas a cibersegurança nunca é uma sólida parede metálica de proteção; é uma parede de tijolos que está constantemente em reparos. Veja como a OpenAI e o Google tentaram reforçar suas proteções de segurança para contornar falhas semelhantes às do Grok.
Leia mais: AI Slop está destruindo a Internet. Estas são as pessoas que lutam para salvá-lo
OpenAI corrige vulnerabilidades de geração de imagens
Basicamente, todas as empresas de IA têm políticas que proíbem a criação de imagens ilegais, como material de abuso sexual infantil, também conhecido como CSAM. Muitas empresas de tecnologia possuem proteções para impedir totalmente a criação de imagens íntimas. Grok é a exceção, com modos “picantes” para imagem e vídeo.
Ainda assim, qualquer pessoa que pretenda criar imagens íntimas não consensuais pode tentar enganar os modelos de IA para que o façam.
Pesquisadores da Mindgard, uma empresa de segurança cibernética focada em IA, encontrou uma vulnerabilidade no ChatGPT que permitiu que as pessoas contornassem suas grades de proteção e fizessem imagens íntimas. Eles usaram uma tática chamada “incitação adversária”, em que os testadores tentam abrir buracos em uma IA com instruções especificamente elaboradas. Nesse caso, ele estava enganando a memória do chatbot com prompts personalizados e depois copiando o estilo nudificado em imagens de pessoas conhecidas.
Mindgard alertou a OpenAI sobre suas descobertas no início de fevereiro, e o desenvolvedor do ChatGPT confirmou em 10 de fevereiro – antes de Mindgard divulgar seu relatório a público – que havia resolvido o problema.
“Somos gratos aos pesquisadores que compartilharam suas descobertas”, disse um porta-voz da OpenAI à CNET e à Mindgard. “Agimos rapidamente para corrigir um bug que permitia ao modelo gerar essas imagens. Valorizamos esse tipo de colaboração e continuamos focados em fortalecer as proteções para manter os usuários seguros”.
É nesse processo que a segurança cibernética geralmente funciona. Pesquisadores externos da equipe vermelha, como a Mindgard, testam o software em busca de pontos fracos ou soluções alternativas, imitando estratégias que os malfeitores podem usar. Quando identificam falhas de segurança, eles alertam o fornecedor do software para que as correções possam ser implementadas.
“Assumir que usuários motivados não tentarão contornar as salvaguardas é um erro de cálculo estratégico.
Embora as empresas de tecnologia se vangloriem de como você pode usar sua IA para qualquer finalidade, elas também precisam fazer uma promessa forte de que podem impedir que a IA seja usada para cometer abusos. Para a geração de imagens de IA, isso significa ter um forte repertório de solicitações que serão recusadas e devolvidas aos usuários.
Quando a OpenAI lançou seu modelo de vídeo Sora 2, prometeu ser mais conservadora na moderação de conteúdo por esse motivo. Mas é importante garantir que as suas práticas de moderação sejam consistentemente eficazes, não apenas no lançamento de um produto. Isso torna os testes de segurança de IA um processo contínuo tanto para pesquisadores de segurança cibernética quanto para desenvolvedores de IA.
Assista isto: A IA é indistinguível da realidade. Como identificamos vídeos falsos?
Google atualiza relatórios de pesquisa
Por sua vez, o Google está tomando medidas para garantir que imagens abusivas não se espalhem tão facilmente. A gigante da tecnologia simplificou seu processo de solicitação de remoção de imagens explícitas da Pesquisa Google. Você pode clicar nos três pontos no canto superior direito de uma imagem, clicar em denunciar e informar ao Google que deseja que a foto seja removida porque ela “mostra uma imagem sexual minha”. As novas mudanças também permitem selecionar várias imagens de uma vez e acompanhar seus relatórios com mais facilidade.
“Esperamos que este novo processo de remoção reduza o fardo que as vítimas de imagens explícitas não consensuais enfrentam”, disse a empresa em um comunicado. postagem no blog.
Quando questionado sobre quaisquer outras medidas que a empresa esteja tomando para evitar abusos habilitados por IA, o Google apontou a CNET para seu política de uso proibido de IA generativa. A política do Google, como as letras miúdas de muitas outras empresas de tecnologia, proíbe o uso de IA para atividades ilegais ou potencialmente abusivas, como a criação de imagens íntimas.
Existem leis que visam ajudar as vítimas quando estas imagens são partilhadas online, como a Lei Take It Down de 2025. Mas o âmbito dessa lei é limitado, razão pela qual muitos grupos de defesa, como o Centro Nacional sobre Exploração Sexual, estão pressionando por regras melhores.
Não há garantia de que essas mudanças impedirão que alguém use IA para assédio e abuso. É por isso que é tão importante que os desenvolvedores fiquem atentos para garantir que todos estejamos protegidos – e ajam rapidamente quando surgirem relatórios e problemas.
(Divulgação: Ziff Davis, empresa controladora da CNET, em 2025 entrou com uma ação judicial contra a OpenAI, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
