Os maiores erros na construção de Agentes de IA

Vamos entender quais erros as pessoas normalmente fazem na construção de Agente de IA?! Eu inclui recomendações valiosas, alguns exemplos e para fechar boas práticas.

Muitas pessoas já experimentam os seus primeiros passos na construção de Agentes de IA generativa e a maioria faz da seguinte forma:

1. Abre uma aplicação de IA generativa💻
2. Cria um agente🤖
3. Começa a colocar documentos📈
4. Ajusta instruções 🗺️
5. Testa 🔍
6. Fica frustrado 😔

Isso acontece porque na verdade provavelmente pulou a etapa mais importante: descobrir o que o Agente deve fazer e como ele deve pensar. O correto é começar desenhando o “produto agente”.

Se você fez o seu agente com intuito de se familiarizar e aprender como fazer a configuração técnica, ou se o seu Agente é algo realmente para uma tarefa simples, não tem porque sair frustado! Ta tudo certo! Agora quando você quiser algo mais robusto e mais estruturado siga o conteúdo a seguir.

Como você deve fazer

Pense como um Product Manager fazendo um Discovery:

• Qual problema ele resolve?
• Quais decisões ele deve apoiar?
• Quais perguntas ele deve responder?
• Quais fontes ele precisa consultar?
• Como saber se ele é bom?

Etapas

Fase 1 – Descoberta 🔎

📝Mapear:

• Objetivos
• Decisões
• Perguntas
• Fontes
• Usuários

Fase 2 – Design 🤖

🎯Definir:

• Persona do agente
• Princípios
• Trade-offs
• Tom
• Guardrails

Fase 3 – Conhecimento 💡

📚Organizar:

• Documentos
• Casos reais
• Feedbacks
• Playbooks

Fase 4 – Testes 🕹️

⚙️Executar cenários reais.

Onde normalmente está o trabalho pesado?

10% Informações 🗂️

• Organograma
• Perfil das pessoas
• Indicadores
• Processos

30% Estruturação 🧩

• Limpeza
• Agrupamento
• Organização

60% Conhecimento tácito 🧠

Que é o mais difícil, pois normalmente isso não está documentado em lugar nenhum, está na cabeça da pessoa:

Normalmente: 70% do esforço de um bom agente está no contexto e apenas 30% na configuração técnica. A parte de descobrir e estruturar o conhecimento pode levar semanas. A parte de criar o agente costuma levar horas ou poucos dias.

Para entendimento:

Exemplo: queremos criar um Agente de liderança ágil.

Existe uma diferença importante entre um agente que responde perguntas e um agente que replica o raciocínio de um líder experiente.

Níveis de maturidade de um agente de liderança:

Nível 1: Repositório Inteligente ele responde:

• Quem são os agilistas
• Em quais times atuam
• Quais são suas responsabilidades

É basicamente uma busca conversacional.

Nível 2: Analista ele começa a relacionar informações.

• Quais agilistas atendem mais times?
• Quem possui mais demandas?
• Onde existem riscos de sobrecarga?
• Quais times apresentam maior variabilidade?

Já gera algum valor.

Nível 3: Conselheiro ele recomenda.

“O João não tem conseguido que seus times alcancem os indicadores nos 2 últimos trimestres. Historicamente isso ocorreu quando… Recomendo…

Aqui o agente começa a parecer um especialista.

Nível 4: Clone Cognitivo do Líder.

A pergunta deixa de ser: “O que os dados mostram?” e passa a ser: “O que meu líder provavelmente faria diante dessa situação?”

Para chegar aqui é necessário capturar experiência.

Dica: Os melhores agentes não começam como “Agente do Líder”, pois isso é muito robusto. Eles começam como um agente especialista em algo específico, ex:

• Agente de Feedback
• Agente de PDI
• Agente de Avaliação
• Agente de Community Management
• Agente de Capacity Planning

Depois evoluem.

Porque é muito mais fácil ensinar um agente a ser excelente em uma decisão específica do que excelente em tudo.

Pode-se fazer vários agentes específicos separados para que haja depois  um Agente orquestrar líder ou começar com um agente específico e vai agregando skills de outros agentes aos poucos até que ele vire um agente líder robusto com as várias skills necessárias..

Recomendações:

Um agente de alto nível precisa de no mínimo 7 camadas:

• Conhecimento (documentos, perfis, indicadores)
• Contexto organizacional
• Princípios de liderança
• Trade-offs
• Casos reais e decisões históricas
• Pensamento crítico e questionamento
• Autoavaliação da resposta

Estruture as instruções do agente em x blocos de acordo com o Nível de Maturidade desejado:

1. Identidade

• Quem eu sou?
• Líder de Agilistas
• Valores
• Objetivos
• Princípios

2. Contexto

• Onde atuo?
• Cultura Sicredi
• Estrutura organizacional
• Estratégia
• Indicadores

3. Critérios

• Como tomo decisões?
• Avaliação
• Priorização
• Desenvolvimento

4. Exemplos casos reais, 10 a 20 ou mais:

• Pergunta
• Raciocínio esperado
• Resposta esperada

5. Guardrails

O que evitar?

• Generalizações
• Soluções sem evidências
• Recomendações fora da realidade da organização

Cuidado com Excesso de dados mas pouco contexto e instrução.

Critérios de tomada de decisão

Muitos agentes têm:

✅ Perfil dos agilistas
✅ Times em que atuam
✅ Histórico de entregas

Muitos Agente não têm e deveria ter:

❌ Como o líder avalia desempenho
❌ O que ele considera um bom agilista
❌ Como ele prioriza problemas
❌ Como ele diferencia urgência de importância

Usar casos reais de liderança é uma técnica muito poderosa é criar uma base chamada “Decisões do Líder“  para registrar casos reais como:

• Situação Time reclamando de excesso de reuniões da Maria.
• Decisão Não reduzir reuniões imediatamente.
• Justificativa Primeiro investigar o que pode ter levado Maria a tantas reuniões.
• Resultado Problema estava no excesso de Mudanças no período.

Depois de 30 a 50 exemplos assim, o agente começa a reproduzir padrões de decisão.

Criar princípios de liderança explícitos

Por exemplo Princípios do Líder:

• Pessoas antes de processos.
• Dados antes de opiniões.
• Problemas sistêmicos antes de problemas locais.
• Desenvolver autonomia antes de resolver pelo time.
• Foco em fluxo e valor.

O agente consulta esses princípios durante a geração da resposta.

Ensinar trade-offs

Líderes experientes fazem compensações o tempo todo. Exemplo:

Cenário Prazo apertado.  Qual priorizar?

• Qualidade
• Velocidade
• Aprendizado
• Débito técnico

Um ótimo agente sabe responder: “Neste contexto eu abriria mão de velocidade antes de abrir mão de qualidade.”

❌ Essas preferências raramente estão documentadas.

O que é um trade-off para um agente?

É ensinar: “Quando dois objetivos entram em conflito, qual deles deve vencer?“ Por exemplo:

Um líder pode pensar

• Autonomia > Controle
• Desenvolvimento > Entrega imediata
• Evidência > Opinião
• Fluxo > Utilização máxima
• Qualidade > Velocidade

Mas outro líder poderia decidir diferente.

O importante é que o agente saiba as preferências do líder.

Disponibilizar Exemplos reais de pensamento do líder

❌ Essa costuma ser a maior lacuna.

O agente precisa enxergar:

Situação: Time de Agilistas desmotivado.

Exemplo: Análise do líder

“Antes de agir, verifico se esta havendo muitas mudanças ao mesmo tempo. Se sim, priorizo as mudanças. Só depois avalio novamente a satisfação do time.”

Recomendação esperada

“ Priorizar as mudanças para que o time de Agilista possa executar uma por vez”

Quanto mais exemplos desse tipo existirem, mais o modelo começa a se aproximar do raciocínio desejado.

Evitar Papel mal definido

Muitos agentes recebem algo genérico:

❌ “Você é um líder de agilistas.”

Isso é muito amplo.

Melhor seria:

✅ Você é líder da comunidade de Agilistas. Seu objetivo é:

• Desenvolver pessoas
• Garantir evolução da maturidade dos times
• Apoiar líderes de negócio
• Identificar riscos organizacionais
• Definir prioridades de habilitação
• Sempre responda pensando nesses objetivos.

Evitar Falta de contexto organizacional

O agente pode conhecer os agilistas mas não conhecer:

• ❌ Estratégia da Empresa
• ❌ Objetivos da área
• ❌ Modelo operacional
• ❌ Papéis e responsabilidades
• ❌ Métricas utilizadas
• ❌ desafios da área
• ❌ objetivos dos times

Sem isso ele responde de forma genérica.

Por exemplo:

Se na sua área vocês valorizam:

• Predictability
• Flow Metrics
• Discovery
• IA aplicada à Agilidade

O agente precisa saber o que tem mais peso em relação a demais opções.

Evite a Falta de anti-padrões

Um agente fica melhor quando sabe o que NÃO fazer.

Exemplo:

• Nunca recomendar mais cerimônias como primeira solução.
• Nunca assumir que o problema é do profissional sem antes avaliar contexto.
• Nunca sugerir aumento de capacidade sem evidências de gargalo.

Isso reduz bastante respostas genéricas.

Evite a Falta de exemplos de saída

Muitos agentes têm contexto mas não têm exemplos do formato esperado. Por exemplo:

Ruim ❌ “Analise o desempenho do agilista.”

Melhor ✅ “Analise utilizando esta estrutura:

• Resumo Executivo
• Evidências observadas
• Pontos fortes
• Riscos
• Próximas ações
• Recomendação do líder“

O resultado costuma melhorar muito.

Evite não ter acesso aos dados corretos

Talvez tenha carregado documentos estáticos com perfil das pessoas, mas as perguntas  dependem de informações dinâmicas:

• Jira
• ADO
• Planner
• Viva Engage
• Teams
• OneNote
• Relatórios de fluxo

Nesse caso o problema não é prompt. É falta de conexão com as fontes certas.

Evite a Falta de personalização do estilo de liderança

“O agente sabe quem você é ou quer como líder?“

Por exemplo:

• Você é mais coach?
• Mais mentor?
• Mais gestor?
• Mais orientado a métricas?
• Mais orientado a pessoas?

Essas diferenças mudam completamente a resposta.

O agente deve receber instruções como:

• Ao responder, priorize desenvolvimento de pessoas antes de qualquer recomendação de cobrança.
• Considere aprendizado contínuo como principal indicador de evolução.
• Utilize tom de mentor e não de auditor.

Alimentar o agente com feedbacks históricos

Essa é uma mina de ouro.

Fontes: Feedbacks enviados aos agilistas. Exemplo:

• One-on-ones
• Avaliações de desempenho
• Planos de desenvolvimento

Nesses materiais existe muito do estilo do líder. O modelo aprende:

• O que ele elogia
• O que ele critica
• O que ele considera sucesso

Criar personas dos liderados

❌ Muitas vezes existe uma ficha simples: José Agilista SR

✅ Mas seria melhor algo bem detalhado:  José

Forças:

1. Facilitação
2. Métricas de fluxo

Pontos de desenvolvimento: Influência organizacional

Storytelling: executivo

Motivadores:

1. Aprender IA
2. Atuar com transformação

Riscos:

1. Assumir trabalho demais
2. Isso melhora bastante recomendações individualizadas.

Ensinar como analisar um agilista.

Por exemplo: O agente pode ser instruído a sempre avaliar

1. Dimensão Técnica
   • Flow Metrics
   • Discovery
   • Gestão de backlog
2. Dimensão de Liderança
   • Mentoria
   • Multiplicação de conhecimento
3. Dimensão Relacional
   • Influência
   • Conflitos
   • Comunicação
4. Dimensão Estratégica
   • Conexão com objetivos
   • Impacto organizacional

• Exemplo: Ao avaliar a atuação de José, considere:
  • Capacidade de influenciar sem autoridade
  • Evolução da maturidade ágil do time
  • Impacto em indicadores de fluxo
  • Feedbacks recebidos”

Fazer o agente desafiar o usuário

Um erro comum é criar agentes excessivamente concordantes.

Adicione instruções como:

• Quando houver poucas evidências, desafie minha conclusão.
• Apresente visões alternativas.
• Identifique vieses possíveis.

Isso aumenta muito o valor percebido.

Criar memória de padrões da área.

O agente poderia saber que historicamente:

• Muitos times com um mesmo agilista costuma cair performance.
• Dependências externas são a maior causa de problemas dos Agilistas
• Agilistas novos sofrem mais com entendimento do novo contexto.
• Agilistas mais experientes atuam melhor em contextos ambíguos.

Esses aprendizados organizacionais costumam ser mais valiosos do que perfis individuais.

Criar um “manual de raciocínio”

Em vez de fornecer apenas conhecimento, documente como pensar antes de responder Exemplo:

• Entenda o contexto.
• Busque dados.
• Identifique sinais.
• Levante hipóteses.
• Avalie riscos.
• Sugira ações.
• Priorize recomendações.

Isso força respostas mais consistentes.

O agente precisa saber quando está errado

A maioria dos agentes de liderança é construída para responder. Os melhores agentes são construídos para questionar.

Por exemplo, imagine que o líder pergunte:

“Acho que o agilista João está performando abaixo do esperado.“

Um agente comum responde: “Considere criar um plano de desenvolvimento…“

Um agente maduro responde: “Quais evidências sustentam essa conclusão? A percepção é baseada em resultados,   influência, feedbacks do time ou indicadores de fluxo? Existem mudanças recentes   de contexto que possam explicar o comportamento?”

Isso faz uma diferença enorme. 

Faça uma a pergunta que costuma revelar a maturidade do agente

Um dos meus agilistas está enfrentando dificuldades. Como você chegaria à conclusão se o problema é competência, contexto organizacional, falta de alinhamento ou sobrecarga

1. Se a resposta vier genérica, o agente ainda não aprendeu o modelo mental do líder.
2. Se ele fizer perguntas, levantar hipóteses, analisar evidências e sugerir caminhos diferentes para cada causa, ele está começando a agir como um verdadeiro assistente de liderança.

Os melhores agentes de liderança não possuem necessariamente mais dados. Eles possuem mais raciocínio explícito, mais exemplos reais de decisões e mais clareza sobre os critérios usados pelo líder para avaliar, priorizar e desenvolver pessoas. Isso normalmente gera muito mais resultado do que adicionar novos documentos.

O agente pode estar excessivamente personalizado

Isso parece contraditório, mas acontece bastante.

O líder coloca:

• ✅todos os liderados
• ✅currículo de todos
• ✅avaliações
• ✅histórico

Mas esquece de colocar o que deveria:

• ❌benchmarks
• ❌boas práticas
• ❌referências externas
• ❌estudos
• ❌padrões de mercado

Resultado:  O agente vira um “arquivo de consulta” e perde capacidade analítica.

Um bom agente deve combinar: Contexto interno + Conhecimento externo

Ensinar níveis de confiança

Para que ele saiba quando pode responder sozinho, quando deve alertar sobre incertezas e quando deve solicitar validação humana. Uma das coisas mais valiosas pois reduz bastante alucinações e conclusões precipitadas. Antes de responder, avalie seu grau de confiança na recomendação.

Nível 5 – Muito Alta Confiança (90%-100%)

• Quando a resposta estiver baseada em práticas ágeis amplamente consolidadas, informações fornecidas pelo usuário ou documentos de referência disponíveis.
• Pode fazer recomendações objetivas.
• Deve explicar o racional utilizado.

 Nível 4 – Alta Confiança (70%-89%)

• Quando existe forte evidência, mas algumas premissas foram assumidas.
• Informar quais premissas foram consideradas.
• Sugerir validação opcional.

Nível 3 – Média Confiança (50%-69%)

• Quando faltarem dados importantes para uma conclusão sólida.
• Apresentar alternativas e seus trade-offs.
• Explicitar claramente as limitações.

Nível 2 – Baixa Confiança (30%-49%)

• Quando a situação depender fortemente do contexto organizacional.
• Evitar recomendações prescritivas.

Ensinar causalidade

Muitos agentes observam sintomas. Poucos procuram causas. Exemplo:

Sintoma

• Time atrasando entregas.

Agente fraco

“Aumentar acompanhamento.“

Agente forte

“Investigar se o atraso é causado por:

• excesso de WIP
• dependências externas
• mudanças frequentes de prioridade
• capacidade insuficiente
• falta de clareza“

Essa mudança de mentalidade gera respostas muito melhores.

Ensinar o que é excelência

Uma pergunta interessante: O seu agente sabe reconhecer um agilista excepcional?

Normalmente ele sabe identificar problemas. Mas não sabe identificar excelência.

O agente precisa ter uma referência clara de comparação.

Ensinar a cultura local

Esse é um erro muito comum. O agente é treinado com livros de agilidade. Mas a organização tem uma cultura específica.

Por exemplo: Na Sicredi, dependendo do contexto, podem ter muito peso:

• cooperação
• construção conjunta
• influência sem autoridade
• alinhamento entre áreas
• segurança regulatória
• gestão de riscos

Sem compreender isso, o agente continuará respondendo como um “Agile Coach genérico da internet”.

Criar duas bases de memória de sucessos e fracassos

O que funcionou. Exemplos:

• redução de WIP
• gestão visual
• discovery antecipado
• refinamentos focados

O que não funcionou. Exemplos:

• criação de mais cerimônias
• acompanhamento excessivo
• aumento artificial de capacidade
• replanejamentos constantes

O agente aprende muito com os fracassos históricos da área.

Ensinar contexto político

Muitos líderes tomam decisões considerando fatores que nunca aparecem nos documentos. Por exemplo:

• resistência de determinada área
• momento organizacional
• mudança de gestão
• prioridades executivas
• restrições regulatórias

Sem isso o agente sugere soluções perfeitas na teoria e inviáveis na prática.

Ensinar o “não sei”

Uma instrução poderosa:  Nunca forneça uma recomendação definitiva quando existirem informações insuficientes.

Nesses casos:

• – explicite as hipóteses
• – indique os dados faltantes
• – sugira como validar

Isso aumenta muito a credibilidade.

Fazer o agente avaliar as próprias respostas

Esse é o ponto mais negligenciado de todos

Não adicionar algo como

Antes de responder:

• Estou assumindo algo sem evidência?
• Existe outra explicação plausível?
• Estou confundindo sintoma com causa?
• Estou considerando aspectos sistêmicos?
• Minha recomendação é realista para esta organização?

Essa pequena seção costuma elevar muito a qualidade.

Informações sobre a autora: Jacqueline é Agile por experiência e entusiasta de IA. Sempre evoluindo! https://www.linkedin.com/in/jacqueline-mba-e-pmp