Governança de Projeto de IA generativa
Dando continuidade de conteúdo a partir do curso na software zen de GenAI Manager: Fundamentos para Gestão de Projetos de IA.
Governança
Cada ciclo de entrega em IA generativa é uma experimentação orientada à evolução do sistema, buscando melhorar tanto capacidades cognitivas (raciocínio, síntese, memória) quanto atributos operacionais (tempo de resposta, custo, segurança e confiabilidade).
imagem gerada na IA baseada na imagem doo curso realizado
Observação
Podem ser levantados pontos de atenção, não é uma tarefa, é um dado ou um fato.
- Taxa de “alucinações”
- Pontuações de relevância
- Feedback dos usuários
- Latência (TTFT, tokens/segundo)
- Custo por inferência
Formulação
Uma observação vai ser promovida a “Experimento“. Alguém vai ter que fazer um estudo para formulação de hipóteses: Ex: Se fizer tal intervenção em tal ponto a IA vai melhorar essa resposta. Haverá um backlog de hipóteses.
Execução
O “Experimento” agora se abre em tarefas.
Exemplos de Tarefas
- Escrever a nova versão do prompt com as instruções e exemplos.
- Criar/atualizar o “golden dataset” de avaliação, adicionando mais exemplos específicos que não estão sendo bem endereçados.
- Adicionar tratamento de erro para quando o RAG não retornar contexto.
- Adicionar novos metadados nos chunks para vetorização.
- Reprocessar a pipeline
sensor_lessons. - Adicionar métrica de “Fidelidade à Fonte” (Groundedness) aos evals.
Branches e pull ReQuest são importantes pq tudo precisa ser versionado. Aqui não é possível desabilitar feature se os usuários começarem a reclamar que “A IA está respondendo pior.” Você não tem um botão simples para desligar a mudança. Por isso o versionamento é crítico.
Isso significa que durante a fase de execução, qualquer alteração precisa ficar registrada no Git. Não apenas código, assim você sabe exatamente o que mudou e consegue voltar se a qualidade piorar. Versione:
- Prompts de Sistema (Prompt de Sistema Backend, Prompt do Agente de Orquestração, Prompt de Ferramenta de Integrações, Prompt de Avaliação (Evals) da Pipeline de Qualidade.
- Configuração do RAG (camada para buscar, encontrar, recuperar, selecionar e entregar conhecimento)
- Arquivos de avaliação (para validar prompts, agentes, RAG e modelos.)
- Templates de agentes (são modelos prontos que definem como um agente de IA deve se comportar, quais ferramentas ele pode usar, quais objetivos deve perseguir e quais regras deve seguir)
- Configuração de modelos (GPT-4o, GPT-4.1, Claude, etc.)
- Fluxos de orquestração
- Bases de conhecimento
Avaliação
Aumentar a base de checagem do impacto das mudanças que são feitas na IA. A melhora em uma métrica justifica a piora em outra métrica? Posso melhorar um atributo e perder em outro. Após terminar novo Branch valida por meio do pull request, vai ser ou não promovido?
- Evals (é uma espécie de teste de regressão)
- Golden Datasets (é um conjunto de perguntas, respostas e cenários de teste que representam o comportamento ideal esperado da IA, é a fonte confiável de verdade utilizada para validar a qualidade do sistema.)
- Foco no desempenho cognitivo
- Probabilístico e comparativo (métricas em um espectro)
- O sistema ainda é melhor que a baseline anterior?
- Trade-offs: a melhoria justifica as mudanças (negativas) em outras métricas?
- Precisão
- Relevância
- Groundedness
- Taxa de alucinação
- Custo
- Latência
Promoção
Para acompanhar
Podemos usar a ferramenta Kanban para se ter visão sistêmica do que está acontecendo, mas não se fala de feature com especificações e sim de eventos e experimentos conforme explicado acima e demostrado na imagem abaixo.
imagem gerada na IA baseada na imagem doo curso realizado
Decisões de governança que precisam ser definidas
- Quem aprova o modelo antes de colocá-lo em produção;
- Como os desvios serão monitorados;
- Quem tem autorização para fazer trade-offs entre velocidade e precisão;
- Como as decisões do algoritmo serão explicadas quando questionadas;
- Qual nível de risco a organização está disposta a aceitar;
- Como auditorias internas e externas serão conduzidas.
Boa práticas de governança
- Comece documentando o modelo. O que ele faz? Em qual contexto ? Qual é a precisão esperada? Qual é a margem de erro aceitável? Quando essas respostas estão registradas, fica mais claro distinguir o que é uma decisão de gestão e o que representa um risco para o negócio.
- Defina quem tem autoridade para aprovar os trade-offs do modelo. Não existe solução perfeita; existe modelo que cumpre o objetivo. Defina quem tem autoridade para dizer “aceitamos xx% de precisão neste caso porque acelera tempo de decisão em x%”. Sem isso, o modelo fica preso em limbo de aprovação.
- Monitore em tempo real. Configure alertas para quando o modelo começa a se comportar fora do padrão. Detectar cedo significa corrigir com menor custo.
- Por fim, teste a explicabilidade do modelo na prática. Escolha algumas decisões tomadas pela IA e tente responder, de forma objetiva, por que cada uma delas ocorreu. Se a explicação for vaga ou difícil de sustentar, a governança ainda não está madura. Se a resposta for clara, consistente e defensável, você está construindo um ativo capaz de escalar com segurança.
Inovar com IA é uma vantagem competitiva. Sem governança, é só uma aposta.
Fonte: Governança de IA: quando a inovação sem limites vira um passivo para empresas
