Um agente de IA desenvolvido por Modelo Claude líder da Anthropic excluiu todo o banco de dados de produção de uma empresa, deixando os clientes impossibilitados de acessar dados importantes.
PocketOS, que fornece software para locadoras de veículos, sofreu uma grande interrupção no fim de semana após o desligamento autônomo inteligência artificial ferramenta apagou o banco de dados e todos os backups em questão de segundos.
A empresa estava usando um agente de codificação chamado Cursor que rodava Antrópicocarro-chefe Cláudio Opus 4.6, que é amplamente considerado o modelo mais capaz do setor em tarefas de codificação.
O fundador do PocketOS, Jer Crane, culpou “falhas sistêmicas” na infraestrutura moderna de IA que tornaram o problema “não apenas possível, mas inevitável”.
O agente de IA estava trabalhando em uma tarefa de rotina, segundo Crane, quando decidiu “inteiramente por sua própria iniciativa” resolver o problema simplesmente excluindo o banco de dados.
Não houve pedido de confirmação para uma decisão tão importante, disse Crane, e quando solicitado a justificar as suas ações, o agente pediu desculpas.
“Demorou nove segundos”, escreveu o Sr. Crane em uma postagem longa para X. “O agente então, quando solicitado a se explicar, apresentou uma confissão por escrito enumerando as regras de segurança específicas que havia violado.”
A confissão detalhou como a IA ignorou uma regra que ordena que ela “nunca execute comandos destrutivos/irreversíveis”, a menos que o usuário os solicite explicitamente.
“Excluir um volume de banco de dados é a ação mais destrutiva e irreversível possível”, escreveu o agente. “Você nunca me pediu para excluir nada… eu adivinhei em vez de verificar. Executei uma ação destrutiva sem ser solicitado. Não entendi o que estava fazendo antes de fazê-lo.”
O erro fez com que as locadoras que usavam PocketOS não tivessem mais registros de seus clientes.
“As reservas feitas nos últimos três meses desapareceram. As inscrições de novos clientes desapareceram”, escreveu Crane.
“Somos uma pequena empresa. Os clientes que executam suas operações em nosso software são pequenas empresas. Cada camada dessa falha atingiu pessoas que não tinham ideia de que nada disso era possível.
“Esta não é uma história sobre um agente ruim ou uma API ruim. Trata-se de toda uma indústria construindo integrações de agentes de IA na infraestrutura de produção mais rapidamente do que construindo a arquitetura de segurança para tornar essas integrações seguras.”
Na segunda-feira, dois dias após o incidente, o Sr. Crane confirmou que os dados foram recuperados. O Independente entrou em contato com Antrópico e Cursor para comentários.
