O documento pode tentar mudar a tarefa

Uma equipe usa IA para ler mensagens de fornecedores e preparar atualizações cadastrais. O processo parece simples: localizar dados, comparar com o cadastro e apresentar diferenças. Entretanto, o material recebido também pode conter instruções para ignorar a conferência ou encaminhar informações a outro destino. O conteúdo que deveria ser analisado passa a disputar influência sobre o comportamento da aplicação.

A OWASP denomina prompt injection a manipulação de entradas que provoca comportamento inesperado do modelo. Quando as instruções chegam por arquivos ou páginas consultadas, o ataque é indireto. Isso importa porque a equipe pode confiar no usuário que solicitou a análise e, ainda assim, receber conteúdo externo não confiável no caminho. Referência: OWASP LLM01: https://genai.owasp.org/llmrisk/llm01-prompt-injection/.

Comece pela consequência que a operação precisa impedir

Liste as informações acessíveis e as ações possíveis em cada etapa. Um assistente que resume documentos públicos tem uma exposição diferente de outro que altera cadastro e envia mensagens. A análise precisa registrar também os destinatários permitidos e as situações em que dados de áreas distintas podem aparecer juntos. A expressão “uso interno” não resolve essas diferenças.

Para cada capacidade, pergunte qual evidência demonstra autorização. Consultar um pedido não deveria abrir automaticamente a possibilidade de exportar todos os pedidos. Preparar uma sugestão de atualização não significa poder executá-la. Essas separações ajudam negócio e segurança a delimitar um piloto útil, sem conceder funções que ele ainda não precisa exercer.

Os controles precisam existir na execução

A orientação da OWASP é combinar medidas, incluindo privilégio mínimo, validação e aprovação humana em operações de risco elevado. O código que executa uma ação deve verificar permissões e parâmetros independentemente da recomendação do modelo. Um pedido bem formulado pela IA continua precisando passar pelo mesmo controle aplicado a outros solicitantes. Referência: OWASP LLM01: https://genai.owasp.org/llmrisk/llm01-prompt-injection/.

Separar e identificar conteúdo externo ajuda a organizar o contexto, mas não cria, sozinho, uma barreira de segurança. A cheat sheet da OWASP também adverte que filtros de entrada não constituem uma fronteira suficiente. A defesa precisa considerar o destino da saída e a ferramenta que produz o efeito. Referência: OWASP Cheat Sheet: https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html.

Na revisão humana, apresente a alteração concreta, os registros atingidos e sua origem. Uma tela que apenas pergunta se o usuário “confia na IA” oferece pouca informação. Defina ainda o que acontece se os dados mudarem depois da aprovação: a decisão anterior pode não corresponder à operação que será executada. Essa condição deve estar explícita no desenho do fluxo.

Cenário hipotético: uma mudança de conta bancária

Considere um fornecedor que envia um documento solicitando atualização de dados bancários. O arquivo inclui uma orientação para pular a validação habitual. Um assistente extrai a conta e prepara uma proposta de alteração. O cenário é hipotético e não descreve um cliente ou ocorrência da PartnerCode. A questão central é qual sistema tem autoridade para concluir a mudança.

No fluxo proposto, o assistente não possui a capacidade de efetivar a alteração. O serviço responsável exige a conferência definida pela empresa e identifica o aprovador. A tela apresenta valores anteriores e novos sem tratar o texto do documento como justificativa de exceção. Caso a extração seja incerta ou a origem não seja confirmada, a solicitação permanece pendente para análise.

Ao investigar uma tentativa, a equipe consulta registros proporcionais ao risco, evitando espalhar dados bancários por logs. Ela verifica entrada, proposta, validações e resultado, distinguindo uma resposta inadequada de uma mudança efetivamente executada. Essa distinção permite medir o comportamento da aplicação sem declarar sucesso de segurança apenas porque um alerta apareceu.

Teste o fluxo completo antes de ampliar autonomia

A OWASP recomenda testes adversariais com atenção aos limites de confiança. Para o piloto, monte exemplos seguros de documentos legítimos e manipulados, com resultados esperados definidos. Inclua os canais e idiomas realmente usados. Compare tanto ações indevidas aceitas quanto solicitações normais bloqueadas. Referência: OWASP Cheat Sheet: https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html.

Registre condições para suspender funções e recuperar o processo manual. Mudanças de modelo, ferramentas ou fontes de conteúdo devem motivar uma nova avaliação do recorte afetado. A PartnerCode pode apoiar esse desenho, começando por uma jornada delimitada, suas permissões e os efeitos que a operação precisa controlar antes de ampliar o uso.

Referências para aprofundar

OWASP — LLM01:2025 Prompt Injection: https://genai.owasp.org/llmrisk/llm01-prompt-injection/. OWASP — LLM Prompt Injection Prevention Cheat Sheet: https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html.