Siga ZDNET: Adicione-nos como fonte preferencial no Google.
Principais conclusões da ZDNET
- Os auditores de IA desempenham as mesmas funções que os auditores financeiros, mas para resultados de IA.
- Atualmente, apenas a garantia de qualidade verifica a precisão e a viabilidade da IA.
- Os auditores de IA precisam tanto de experiência em IA quanto de conhecimento de negócios.
A ascensão incessante da inteligência artificial (IA) está criando uma nova função a ser considerada pelos profissionais de negócios e tecnologia: auditor de IA. A função tem uma notável semelhança com a dos auditores financeiros, com uma grande excepção: os auditores de IA monitorizam e reportam o comportamento das transacções de IA em vez das transacções monetárias.
Além disso: como a ascensão do software nativo de IA pode dar às pequenas e médias empresas poder de nível empresarial
Esse papel não poderia vir em melhor hora. A IA agora é difundida, mas muitas vezes está repleta de dados de baixa qualidade, desvios de modelo, preconceitos, alucinações, desleixos e outros problemas. Os profissionais precisam entender quais funções têm futuro no mundo da IA – e que gerenciar a IA é mais do que uma função estritamente técnica. Os auditores de IA não serão apenas supervisores técnicos; eles precisarão garantir a precisão e a viabilidade da IA de acordo com a lei, a ética, a segurança e a ciência comportamental. Notavelmente, os processos supervisionados pelos auditores de IA são exactamente os mesmos que as tarefas dos auditores financeiros, que estão envolvidos na amostragem, testes e certificação.
Garantir que a IA seja responsável e confiável
Em suas avaliações contínuas de listas de empregos, a ZipRecruiter estimativas que os auditores de IA ganham salários anuais entre US$ 50.000 e US$ 81.000, com os maiores ganhadores ganhando US$ 105.500 nos EUA.
Atualmente, os auditores de IA existem de uma forma muito rudimentar, de acordo com Zohar Bronfman, cofundador e CEO da Noz-pecã.aique vem acompanhando o surgimento dessa posição relativamente nova. “Atualmente não existe uma função estruturada dedicada à auditoria de comportamento ético ou socialmente aceitável”.
Além disso: A lacuna de codificação da IA: por que os desenvolvedores seniores estão ficando mais rápidos enquanto os juniores giram
A função mais próxima de um auditor de IA é agora vista nas equipes encarregadas de revisar o comportamento do modelo de IA, mas seu trabalho é mais semelhante à garantia de qualidade, disse Bronfman. As revisões cobrem “resultados, valores discrepantes e casos extremos, e processos de treinamento de auditoria para propriedades, precisão e previsibilidade de entrada de dados”.
Os auditores de IA se esforçarão mais para garantir que a IA seja responsável e confiável. As funções de um auditor de IA provavelmente serão uma combinação de várias funções:
- Supervisão de engenharia: Isto implica “garantir que os modelos sejam desenvolvidos, treinados e mantidos de acordo com padrões aceitáveis de engenharia e tecnologia”, disse Bronfman.
- Monitoramento comportamental: O auditor de IA verificará se o comportamento do modelo de IA “é previsível e observável, e todas as ações do modelo – como integração, API, MCP, RAG – são rastreáveis e registradas”. O auditor também se certificará de que o modelo “atue apenas dentro de proteções pré-aprovadas e não tente integrar-se a fontes de dados para as quais não possui autorização, credenciais ou necessidade”.
- Aplicação de guarda-corpo: Aqui, o auditor tem a tarefa de “garantir que o modelo ou agente não esteja tentando adulterar seu próprio código-fonte”, disse Bronfman. Também inclui “testar se o modelo se tornará desonesto sob certas condições imediatas”. O auditor também realizará a investigação do incidente e responsabilizará o proprietário do modelo.
Além disso: os agentes de IA são rápidos, soltos e fora de controle, segundo estudo do MIT
Bronfman apontou alguns exemplos hipotéticos que um auditor de IA estaria procurando e trabalhando ativamente para prevenir:
- Uso não autorizado de ferramentas ou acesso ao sistema: Isso pode consistir em um agente de IA “tentar alterar credenciais de login, acessar dados confidenciais sem a devida autorização ou penetrar software de infraestrutura crítica além do escopo aprovado”, disse Bronfman.
- Viés oculto: Isto é especialmente uma preocupação na tomada de decisões financeiras, particularmente em domínios como pontuação de crédito, empréstimos, contratação ou seguros.
- Tomada de decisão opaca: Isso pode ser problemático em ambientes de saúde. “Por exemplo, um agente desonesto que otimiza custos ou eficiência pode despriorizar recursos para um paciente gravemente doente”, disse Bronfman. “Quaisquer decisões que envolvam julgamento moral devem permanecer sob a autoridade humana.”
Empresas terceirizadas de auditoria de IA
Os trabalhos de auditoria de IA não serão encontrados apenas nas empresas. Assim como as organizações tendem a contar com auditores financeiros externos, haverá muitas funções em empresas terceirizadas de auditoria de IA. “Auditores terceirizados independentes fornecem supervisão estruturada e evitam conflitos de interesse”, disse Bronfman. Os padrões e códigos de conduta de auditoria de IA podem até ser apoiados “por um órgão semelhante à ONU ou por uma coalizão de grandes estados, onde a implantação exigirá auditorias comportamentais contínuas e transparência obrigatória”.
Além disso: Anthropic aposentou um modelo popular de IA e agora está blogando no Substack
Para assumir esse tipo de função, os futuros auditores de IA “precisarão entender profundamente a IA e como o algoritmo funciona, a fim de identificar onde estão as armadilhas e testar como ela pode falhar”, disse Bronfman. “As equipes de auditoria de IA devem ser multidisciplinares e incluir especialistas em direito, ética, segurança, ciência comportamental e teoria política, que estão continuamente formando equipes e conduzindo amostras comportamentais em vários domínios.”
