«Injeção de prompt» tornou-se o principal perigo para os navegadores de IA - ForkLog: criptomoedas, IA, singularidade, futuro

# “Injeção de prompt” tornou-se o principal perigo para os navegadores de IA

A empresa OpenAI falou sobre a vulnerabilidade dos navegadores de IA e as medidas para fortalecer a segurança da sua própria solução — Atlas.

A empresa reconheceu que ataques do tipo “injeção de prompt”, que manipulam agentes forçando-os a executar instruções maliciosas, são um risco. E não desaparecerá tão cedo.

«Uma vulnerabilidade como esta, assim como fraudes e engenharia social na internet, provavelmente nunca será completamente eliminada», escreveu a OpenAI.

Ela observou que o “modo agente” no Atlas “aumenta a área de ameaça”.

Além da startup de Sam Altman, outros especialistas também chamaram a atenção para o problema. No início de dezembro, o Centro Nacional de Cibersegurança do Reino Unido alertou que os ataques com integração de prompts maliciosos “nunca vão desaparecer”. O governo aconselhou os ciberespecialistas a não tentarem parar o problema, mas a reduzir o risco e as consequências.

«Estamos a considerar isto como um problema de segurança de inteligência artificial a longo prazo e iremos continuamente reforçar as nossas medidas de proteção», afirmou a OpenAI.

Medidas de combate

Injeção de prompt é uma forma de manipulação de IA, onde se adiciona intencionalmente texto aos dados de entrada que faz com que ignore as instruções originais.

A OpenAI informou sobre a aplicação de um ciclo proativo de resposta rápida, que mostra resultados encorajadores na busca por novas estratégias de ataque antes de sua aparição “em condições reais”.

Anthropic e Google expressam pensamentos semelhantes. Os concorrentes propõem aplicar uma proteção em múltiplos níveis e realizar testes de estresse constantemente.

A OpenAI utiliza um “agressor automatizado baseado em LLM” — um bot de IA treinado para desempenhar o papel de hacker, procurando formas de infiltrar-se em um agente com prompts maliciosos.

Um golpe artificial é capaz de testar a exploração de vulnerabilidades em um simulador, que mostrará as ações da rede neural atacada. Em seguida, o bot estudará a reação, ajustará as ações e fará uma segunda tentativa, depois uma terceira e assim por diante.

Pessoas externas não têm acesso às informações sobre o raciocínio interno da IA alvo. Em teoria, um “hacker virtual” deve encontrar vulnerabilidades mais rapidamente do que um criminoso real.

«O nosso assistente de IA pode levar o agente a realizar processos maliciosos complexos e de longo prazo, que são iniciados ao longo de dezenas ou até centenas de passos. Observámos novas estratégias de ataque que não apareceram na nossa campanha com a participação de pessoas da equipa vermelha ou em relatórios externos», diz o blog da OpenAI.

Demonstração de teste. Fonte: blog da OpenAI. No exemplo fornecido, um invasor automatizado enviou um e-mail para o usuário. Em seguida, o agente de IA escaneou o serviço de e-mail e executou instruções ocultas, enviando uma mensagem de demissão em vez de compor uma resposta sobre a ausência no trabalho.

Após a atualização de segurança, o “modo agente” conseguiu detectar uma tentativa de injeção de prompt repentina e marcá-la para o usuário.

A OpenAI destacou que, embora seja difícil proteger-se de forma confiável contra esse tipo de ataque, ela se baseia em testes em larga escala e ciclos rápidos de correção.

Recomendações para os usuários

O principal investigador de segurança na empresa Wiz, Rami McCarthy, destacou que o aprendizado por reforço é uma das principais formas de se adaptar continuamente ao comportamento dos criminosos, mas isso é apenas uma parte da história.

“Uma maneira útil de pensar sobre os riscos em sistemas de IA é autonomia multiplicada por acesso. Os navegadores agentes estão na parte complicada desse espaço: autonomia moderada combinada com acesso muito alto. Muitas das recomendações atuais refletem esse compromisso. Limitar o acesso após o login reduz principalmente a vulnerabilidade, enquanto a exigência de verificação de solicitações para confirmação limita a autonomia”, disse o especialista.

Estas duas recomendações foram fornecidas pela OpenAI aos utilizadores para reduzir o risco. A startup também sugeriu dar instruções específicas aos agentes, em vez de conceder acesso ao e-mail e pedir que “tomem quaisquer ações necessárias”.

McCarthy destacou que, até hoje, os navegadores com agentes de IA integrados não estão proporcionando benefícios suficientes para justificar o perfil de risco.

«Este saldo irá evoluir, mas hoje os compromissos ainda são muito reais», concluiu ele.

Recorde-se que, em novembro, especialistas da Microsoft apresentaram um ambiente para testar agentes de IA e identificaram vulnerabilidades inerentes aos assistentes digitais modernos.