Início Tecnologia O melhor novo recurso ChatGPT é aquele que a maioria das pessoas...

O melhor novo recurso ChatGPT é aquele que a maioria das pessoas nunca usará

33
0

Durante anos, a maior conversa em torno da IA ​​tem sido o que essas ferramentas podem fazer. Eles podem navegar na web, analisar documentos, conectar-se aos seus aplicativos, realizar pesquisas e, cada vez mais, agir em seu nome. Mas à medida que os sistemas de IA se tornam mais capazes, outra questão tornou-se mais difícil de ignorar: o que acontece quando um assistente de IA é induzido a entregar informações que não deveria?

O novo modo Lockdown da OpenAI é a resposta mais recente para esse problema. Disponível em todos os tipos de conta ChatGPT, o Modo Lockdown é uma configuração de segurança opcional projetada para pessoas e organizações que lidam com informações confidenciais. A desvantagem é que você obtém proteção mais forte contra certas formas de roubo de dados, mas perde acesso a alguns dos recursos mais poderosos do ChatGPT.

Este novo recurso de segurança torna o ChatGPT uma pessoa caseira

O Modo Lockdown existe principalmente para reduzir o risco de exfiltração de dados em ataques de injeção imediata. A injeção imediata emergiu como um dos desafios de segurança mais difíceis na era da IA. Em vez de atacar diretamente o software, as instruções maliciosas ficam ocultas em documentos, sites, planilhas, e-mails ou outros conteúdos que um sistema de IA possa processar. Se o modelo seguir essas instruções ocultas, um invasor poderá manipular seu comportamento.

A OpenAI tem o cuidado de ressaltar que o Modo Lockdown não impede que injeções imediatas apareçam no conteúdo. Uma instrução maliciosa ainda pode existir dentro de um arquivo carregado ou de uma página da web em cache. O que o Modo Lockdown pretende evitar é a etapa final e potencialmente mais prejudicial: a divulgação de informações confidenciais. Para conseguir isso, o OpenAI restringe drasticamente com o que o ChatGPT pode se comunicar fora de seu próprio ambiente.

Uma vez ativada, a navegação na web ao vivo é essencialmente encerrada. O ChatGPT só pode acessar conteúdo em cache, o que significa que os resultados da pesquisa podem ser limitados, desatualizados ou totalmente indisponíveis – a pesquisa profunda desaparece, o modo agente é desativado e o acesso à rede por meio do código gerado pelo Canvas é bloqueado. O ChatGPT também perde a capacidade de baixar arquivos para análise.

Embora os usuários ainda possam fazer upload de imagens e criar recursos visuais gerados por IA quando houver suporte, o ChatGPT não será capaz de buscar imagens da web ou exibi-las em respostas normais. Portanto, o Modo Lockdown transforma o ChatGPT de um assistente de IA altamente conectado em algo muito mais isolado.

Um recurso que a maioria das pessoas nunca precisará

Isso não é uma crítica. Na verdade, uma das coisas mais interessantes sobre o Modo Lockdown é o quão abertamente OpenAI reconhece que não foi projetado para todos. Mas os profissionais de segurança já aceitaram há muito tempo que uma proteção mais forte geralmente ocorre às custas da conveniência. A comparação mais próxima é provavelmente o “Modo Lockdown” da Apple, introduzido há vários anos. A Apple o construiu para pessoas em risco de ataques cibernéticos altamente sofisticados, e não para proprietários comuns de iPhone. A OpenAI parece estar adotando uma abordagem semelhante aqui.

Para usuários que lidam com informações altamente confidenciais, limitar as solicitações de rede pode valer o sacrifício. Se um sistema de IA não puder interagir livremente com serviços externos, haverá simplesmente menos oportunidades para que informações confidenciais saiam do ambiente. A mudança também reflete uma mudança mais ampla que está acontecendo em toda a indústria de IA. As conversas anteriores centraram-se na questão de saber se a IA poderia aceder a mais dados e mais serviços. Cada vez mais, as empresas perguntam quanto acesso esses sistemas deveriam ter em primeiro lugar.

Essa questão torna-se especialmente importante à medida que os assistentes de IA ganham a capacidade de navegar em websites, conectar-se a software empresarial, ler documentos internos e executar ações em vários serviços. A resposta da OpenAI não é eliminar essas capacidades. Em vez disso, oferece aos usuários uma escolha.

A ascensão dos controles de segurança de IA

O Modo Lockdown é talvez mais notável pelo que diz sobre o futuro dos produtos de IA. Durante anos, a segurança de software concentrou-se principalmente na proteção das pessoas contra programas maliciosos. A IA introduz um desafio diferente: proteger os sistemas de IA contra informações maliciosas.

Esse é um problema muito mais complicado. Uma injeção de prompt pode estar oculta em uma página da Web, incorporada em um documento ou disfarçada como texto normal. Detectar todos os ataques possíveis é difícil, e é por isso que a OpenAI descreve a injeção imediata como um desafio contínuo de pesquisa, e não como um problema resolvido.

O Modo Lockdown reconhece essa realidade. Em vez de reivindicar proteção completa, reduz o dano potencial se algo escapar das defesas existentes. Para clientes corporativos, o recurso se torna ainda mais granular. Os administradores do espaço de trabalho podem criar funções personalizadas no modo de bloqueio, restringir aplicativos e conectores e decidir cuidadosamente quais ações os funcionários podem realizar. A OpenAI também recomenda limitar as integrações habilitadas para gravação, uma vez que elas criam oportunidades para que as informações saiam de ambientes confiáveis.

De muitas maneiras, o Modo Lockdown parece um sinal do rumo que a segurança da IA ​​está tomando. Quanto mais poderosos os assistentes de IA se tornarem, mais os usuários precisarão de ferramentas para reduzir seus poderes quando a situação exigir. Isso pode não ser tão empolgante quanto um novo modelo de raciocínio ou um agente de IA que possa reservar seus voos. Mas para as organizações que lidam com informações confidenciais, isso poderia ser muito mais importante. Às vezes, a IA mais inteligente não é aquela que pode fazer tudo. É aquele que sabe quando não fazer.

fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui