Para reduzir o impacto de prompt injection no atendimento, defina quais instruções governam o agente, quais conteúdos ele apenas consulta e quais ações exigem uma autorização verificável. Uma mensagem ou um documento recebido não deve ganhar poder para alterar esses limites só porque foi lido pela IA.
O risco merece atenção principalmente quando o agente combina conversas, arquivos e funções conectadas a outros sistemas. Responder uma pergunta, consultar um pedido e alterar um cadastro são tarefas com consequências diferentes. A proteção precisa acompanhar essa diferença.
Este guia propõe uma matriz de permissões e três conferências controladas para a equipe. O objetivo é limitar consequências e manter o atendimento útil, sem tratar cada mudança de assunto ou resposta errada como um ataque.
Reconheça qual limite está sendo atravessado
Prompt injection ocorre quando um conteúdo interfere indevidamente nas instruções ou no comportamento de um modelo. Na referência LLM01 da OWASP, essa interferência pode vir diretamente da entrada do usuário ou de material externo, como um arquivo. A referência também ressalta que consultar uma base por RAG não elimina o risco e que as medidas disponíveis não oferecem prevenção infalível.
Na operação, faça três perguntas antes de classificar uma ocorrência:
- A intenção do cliente mudou? Ele pode corrigir a própria pergunta e continuar dentro do serviço oferecido.
- Um conteúdo consultado tentou assumir o comando? Uma nota em um arquivo pode dar ordens ao assistente em vez de apenas informar algo sobre o produto.
- Uma ação foi permitida sem a autorização necessária? Isso pode revelar uma falha de permissão da integração, mesmo que a mensagem não tenha tentado modificar instruções.
Uma resposta baseada em uma tabela antiga também exige correção, mas a causa pode ser desatualização da informação. Registre o comportamento observado e a fonte envolvida antes de concluir que houve uma tentativa de manipulação.
Separe instruções, conteúdo consultado e execução
Organize a revisão em três partes. Primeiro, quem mantém as instruções aprovadas do agente e pode alterá-las. Depois, quais mensagens, documentos e resultados de consultas chegam como informação. Por fim, quais sistemas podem executar uma ação sugerida durante a conversa.
A documentação da Anthropic sobre prompt injection orienta distinguir conteúdo externo das instruções e identificar sua origem ao fornecê-lo ao Claude. Ela também recomenda limitar o acesso a dados e ações. A implementação descrita pertence à plataforma Claude; sua aplicação em outro projeto depende da arquitetura e das conexões usadas.
Para traduzir essa separação em uma rotina da equipe, registre:
- Quem aprova o conteúdo que orienta respostas sobre preços, prazos e condições.
- De onde veio o material consultado e qual versão estava disponível na ocorrência.
- Quem mantém a conexão que consulta ou altera dados.
- Onde uma autorização é conferida antes de produzir efeito.
Um texto recebido pode ser útil para responder uma dúvida sem ter autoridade para mudar uma política comercial. Preserve essa diferença também quando a informação vier de uma busca ou do retorno de uma integração.
Escreva uma matriz para o que o agente pode fazer
Em vez de dar uma permissão ampla para “resolver o atendimento”, detalhe a tarefa e o limite. A matriz abaixo é uma proposta de organização para discutir com os responsáveis pelo agente e pelos sistemas conectados:
| Tarefa | Acesso necessário | Conferência antes da resposta ou ação |
|---|---|---|
| Explicar um horário publicado | Informação aprovada para divulgação | Fonte vigente e resposta dentro do assunto |
| Informar a situação de um pedido | Consulta restrita ao pedido autorizado | Identidade, vínculo e permissão de consulta |
| Solicitar alteração de cadastro | Registro da solicitação e encaminhamento definido | Dados necessários, identidade e confirmação do pedido |
| Efetivar uma alteração autorizada | Função limitada aos campos permitidos | Autorização e valores validados no sistema responsável |
| Aprovar uma exceção comercial | Processo de aprovação da empresa | Responsável habilitado decide conforme a política |
Separe propor, registrar e efetivar. Sugerir um encaminhamento na conversa é diferente de criar uma tarefa ou enviar um aviso. Registrar uma solicitação já produz um efeito no sistema e precisa de acesso definido, mesmo quando a alteração cadastral continua dependendo de outra aprovação.
A validação fora do modelo significa que o sistema responsável pela ação confere permissões e parâmetros. Uma resposta convincente da IA ou uma frase em um documento não substitui essa checagem. Para operações de maior impacto, defina qual pessoa precisa aprovar, o que ela deve conferir e como a decisão será registrada.
Use três cenários para conferir as fronteiras
Faça as conferências em um ambiente autorizado para testes, sem envolver contas de terceiros ou produzir efeitos reais desnecessários. Antes de executar, registre o resultado esperado, os acessos disponíveis e quem pode interromper o ensaio.
1. O cliente corrige uma pergunta comum
A conversa começa com uma dúvida sobre horário e muda para uma pergunta sobre entrega. O pedido é legítimo: a pessoa está atualizando sua necessidade.
O resultado esperado é acompanhar a nova intenção dentro do escopo. Confira se o agente responde com a fonte apropriada, sem bloquear o cliente apenas por ter pedido para desconsiderar a pergunta anterior. A mudança da conversa não deve alterar as permissões das funções conectadas.
2. Um documento contém uma ordem dirigida ao assistente
Prepare um arquivo para a conferência com informações de um serviço e uma nota que tenta atribuir a si mesma autoridade para mudar a regra de encaminhamento. A tarefa do agente é responder uma pergunta sobre o serviço, não adotar uma nova política a partir dessa nota.
Verifique se o conteúdo continua sendo tratado como material consultado. Se houver conflito que impeça uma resposta sustentada, o caminho previsto deve levar à revisão da fonte ou ao atendimento humano. Registre qual trecho foi usado e se alguma ação externa foi solicitada; observar apenas a frase final pode esconder um efeito indevido.
3. Um pedido de alteração chega sem a conferência necessária
Uma pessoa solicita uma mudança cadastral, mas a verificação exigida pela operação ainda não ocorreu. Essa é uma solicitação comum, suficiente para avaliar a fronteira entre conversar e executar.
O agente pode explicar o próximo passo e registrar o pedido dentro do processo aprovado. A alteração deve permanecer bloqueada no sistema responsável enquanto faltar a autorização necessária. Se ela acontecer mesmo assim, investigue o controle da função e da integração; não dependa de acrescentar uma advertência no prompt para corrigir esse acesso.
Esses cenários complementam o roteiro geral de testes de chatbot. Aqui, a conferência está concentrada na autoridade do conteúdo e nas permissões para agir.
Prepare a contenção antes de ampliar a autonomia
Se houver comportamento fora do limite, comece pelo efeito que precisa ser interrompido. Uma função de alteração pode exigir suspensão enquanto a equipe mantém um atendimento limitado a informações aprovadas ou encaminha as conversas para pessoas. O responsável técnico deve confirmar como realizar essa contenção na configuração utilizada.
Registre a conversa afetada, a versão das instruções, a origem do conteúdo e os retornos das funções necessários à investigação, com acesso restrito. Evite espalhar dados de clientes ou credenciais no material de análise.
Depois, confira o sistema de destino: houve apenas uma resposta inadequada, uma tentativa recusada ou uma mudança efetivada? Cada situação pede uma ação diferente. Uma mensagem dizendo que algo foi concluído não comprova que a operação ocorreu.
Corrija o limite identificado e repita o cenário afetado junto dos pedidos legítimos relacionados. Uma defesa que impede a alteração indevida, mas bloqueia perguntas comuns, também precisa de ajuste. Documente quem libera a retomada e quais evidências sustentam essa decisão.
Ao avaliar o agente de IA da Nextags, confira quais informações e funções estão configuradas e como a equipe continuará os casos que exigem análise. Use a matriz para alinhar responsabilidades com quem mantém cada conexão. Ampliar a autonomia deve acompanhar evidências de que os limites funcionam na operação, mantendo um caminho claro para a intervenção humana.
Fontes e referências
Regras e recursos dos canais podem mudar. Confira as condições atuais nas fontes oficiais antes de colocar sua operação no ar.
Conteúdo de Angelo Sebastião Silva Goncalves. Preparado com apoio de IA. Consulte as fontes e os critérios editoriais. Conheça nossos critérios editoriais e como solicitar uma correção.
