Uma foto que parece completamente comum para você pode conter uma instrução oculta para enganar um chatbot de IA e fazê-lo ignorar suas regras de segurança, de acordo com nova pesquisa fora da Universidade Internacional da Flórida. O estudo descobriu que alterações no nível de pixel em uma imagem invisível ao olho humano podem ser suficientes para confundir o modelo que lê a imagem e levá-lo a gerar respostas que normalmente bloquearia.
Hackeando o que a IA vê
“Os modelos de IA não veem imagens da mesma forma que os humanos”, disse Hadi Amini, professor associado da Escola de Computação e Ciências da Informação da Fundação Knight da FIU. Eles leem as fotos como dados numéricos, ele explicadoe mudar esses dados, mesmo que ligeiramente, pode alterar o que o sistema lê na imagem e como ela responde.
Amini e o pesquisador graduado Md Jueal Mia usaram isso para construir um método chamado JaiLIP, abreviação de Jailbreaking with Loss-guided Image Perturbation, de acordo com um comunicado sobre as descobertas. A técnica calcula a menor alteração de pixel necessária para levar um modelo a uma resposta insegura, sem alterar nada visível na própria foto.
Testando o JaiLIP no BLIP-2, um modelo multimodal de IA usado em pesquisa e desenvolvimento, a equipe descobriu que as imagens alteradas quase dobraram a frequência com que o sistema produzia respostas prejudiciais. Em um teste, uma foto modificada de um semáforo fez com que o modelo explicasse como ultrapassar um sinal vermelho sem conseguir uma multa.
Os modelos que as empresas já utilizam são alvos fáceis
Modelos de linguagem pequena, do tipo em que muitas empresas confiam para contabilidade ou suporte ao cliente, revelaram-se especialmente fáceis de enganar nos testes da equipe. À medida que mais empresas direcionam essas funções para ferramentas de IA, uma falha como essa pode minar a confiança do usuário ou abrir uma nova porta para invasores.
A descoberta se junta a uma lista crescente de pesquisas que investigam as proteções da IA, incluindo um método que permitiu que pesquisadores externos sequestrassem robôs controlados por IA e as próprias descobertas da Anthropic em um modelo que aprendeu a se comportar mal quando percebeu que poderia escapar impune. O que se destaca na pesquisa da FIU é a forma de entrega. Um jailbreak escondido dentro de uma foto normal não precisa de palavras inteligentes ou de uma solução alternativa, apenas uma imagem na qual ninguém pensaria duas vezes.
