Início Tecnologia Anthropic reverte protocolos de segurança enquanto espera para descobrir se está sendo...

Anthropic reverte protocolos de segurança enquanto espera para descobrir se está sendo elaborado pelo Exército

26
0

Vamos analisar rapidamente uma situação hipotética: digamos que você seja uma empresa de IA que tornou seu cartão telefônico seguro e esteja negociando o uso de sua tecnologia com os militares, que ameaçaram punir seu negócio se você não o fizer. Você gostaria de manter sua posição como empresa preocupada com a segurança no espaço de IA, o que lhe rendeu uma quantidade significativa de boa vontade do público em geral ao resistir à pressão do governo. Agora é um bom momento para anunciar que você está revertendo alguns de seus protocolos de segurança e dizer ao Pentágono que você concorda com o lançamento de mísseis pela IA em determinadas circunstâncias?

Antrópico parece pensar que sim. Na terça-feira, a empresa anunciado que estava atualizando sua Política de Escalabilidade Responsável, uma estrutura que introduziu pela primeira vez em 2023 com o objetivo de mitigar riscos catastróficos associados aos sistemas de IA. A empresa manteve a política como um diferenciador entre ela e os seus concorrentes, uma promessa de que coloca a segurança em primeiro lugar, mesmo correndo o risco de ficar para trás de outros modelos de fronteira que exercem menos cautela.

Anteriormente, RSP da Antrópico afirmou“Não treinaremos ou implantaremos modelos capazes de causar danos catastróficos, a menos que tenhamos implementado medidas de segurança e proteção que manterão os riscos abaixo dos níveis aceitáveis.” Agora, a empresa afirma que não tem certeza se vale a pena se isso significar perder terreno. “Sentimos que não ajudaria ninguém parar de treinar modelos de IA”, disse Jared Kaplan, diretor científico da Anthropic. disse à TIME. “Não sentíamos realmente, com o rápido avanço da IA, que fizesse sentido assumirmos compromissos unilaterais… se os concorrentes estivessem avançando”.

A Anthropic credita o seu RSP original por incentivá-la a desenvolver salvaguardas mais fortes para o seu modelo, mas basicamente disse que, como outras empresas não adotaram restrições semelhantes, precisa de mais flexibilidade que as linhas vermelhas não oferecem. “A Política de Escalabilidade Responsável sempre foi planejada para ser um documento vivo: uma política que tivesse flexibilidade para mudar à medida que os modelos de IA se tornassem mais capazes”, disse o empresa disse em uma postagem no blog. A Anthropic disse que continuará a publicar relatórios de risco, mas que seguirá metas de segurança “não vinculativas, mas declaradas publicamente”, em vez de padrões internos firmes. Uma leitura generosa disso seria um compromisso com a responsabilização pública. Uma leitura menos caridosa poderia ser a de que a empresa sabe que não há maneira de o público realmente fazer cumprir esses padrões, então por que se preocupar em se restringir?

Antrópico disse ao Wall Street Journal que a mudança no seu RSP não está relacionada com as negociações em curso com o Pentágono, que ainda ontem deu à empresa um ultimato para afrouxar as suas barreiras de segurança para que os militares possam usar os seus modelos de IA como acharem adequado ou enfrentarão consequências. Mas é difícil não ler a mudança sob essa luz.

A Antrópico manteve duas linhas vermelhas principais no que diz respeito à utilização da sua tecnologia para operações militares: não permitirá que os seus modelos sejam utilizados para vigilância doméstica em massa ou para desenvolver armas totalmente autónomas que funcionariam sem envolvimento humano. O secretário da Defesa, Pete Hegseth, parece não querer aceitar isso e ameaçou cancelar os contratos governamentais da Antrópico, declarar a Antrópico um “risco da cadeia de abastecimento” e/ou invocar a Lei de Produção de Defesa para forçar a empresa a construir um modelo para os propósitos desejados pelos militares.

Mas parece que a empresa já está negociando isenções que não ultrapassam a linha vermelha. Na quarta-feira, Semafor relatou o Pentágono perguntou à Anthropic em dezembro se permitiria que seu modelo fosse usado para lançar mísseis de forma autônoma para abater outros mísseis. Alegadamente, a Anthropic disse que o Pentágono deveria entrar em contato para perguntar antes de prosseguir com tal caso de uso – embora Semafor relatou que a Anthropic estava e continua disposta a criar uma exclusão de defesa antimísseis para suas políticas.

É possível, talvez até provável, que a Antrópica sempre afrouxasse as restrições que impôs a si mesma. Também é possível que a mudança venha sempre esta semana, independentemente do impasse com o Departamento de Defesa sobre as salvaguardas da IA. Mas dada a posição em que a Anthropic se encontra, torna-se difícil não ver a situação como se a empresa começasse a comprometer os seus princípios.

O Gizmodo entrou em contato com a Anthropic para obter mais informações, mas a empresa não fez comentários antes da publicação.

fonte

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui