Contextualizando Projeto de IA generativa

Fiz o curso na software zen de GenAI Manager: Fundamentos para Gestão de Projetos de IA e vim fazer uma contextualização inicial necessária. E  é claro que eu usei a IA para me ajudar a complementar e até me esclarecer dúvidas para melhor exposição do meu conteúdo.

IA Generativa é um tipo de inteligência artificial que cria conteúdos originais seja textos, imagens, vídeos, códigos, músicas etc, Ela funciona analisando grandes volumes de dados para identificar padrões, gerando novas respostas com base nas probabilidades aprendidas e tem um caráter criativo podendo criar coisas inéditas.

Para falar em Desenvolver soluções de IA generativa precisamos entender que ela trata de complexidade e incertezas. Um Projeto desse trata de capacidade cognitiva de um sistema inteligente.

A complexidade é a condição fundamental do problema que o sistema de IA generativa esta sendo chamada a resolver.

Um bom exemplo é desenvolver um sistema de triagem de candidatos para um emprego. Afinal, oq é um bom candidato? Não tem como resolver esse problema com especificações somente. Devido a natureza complexa e a reposta a essa pergunta ser aberta, não tem uma resposta categórica do tipo esse candidato é o certo e esse candidato é o errado.

Em um projeto de sistema de IA generativa tem muita coisa entre o frontend e o modelo de aprendizagem, várias camadas que precisam ser estruturadas. A arquitetura ajuda a entender quais as possibilidades de intervenção para que a IA gere respostas melhores. 

imagem gerada por IA 

Considere as seguintes questões em um Sistema de IA generativa :

Construção de Frontend: é pequena, pois é um chat com Upload de documentos, feedback, visualização de Gráficos, Tabelas, Indicadores, Dashboards e o Assistente de IA que é a identidade visível para o usuário.

Construção de Backend:

Orquestração e Controle É o cérebro operacional da solução.

1. 1. Engenharia de Prompts: instruções que transformam um modelo de IA genérico em um especialista no negócio da organização através de orientação ao modelo. Exemplo: definir comportamento, definir instruções, definir formato das respostas, definir como deve pensar e definir a personalidade da IA.
   2. Construção do contexto: o sistema deve ser enriquecido com o contexto, ex: cultura da empresa, necessidades específica, tipo de negócio da empresa, código de ética, legislação vigente etc, pois a IA se aproxima das respostas mais útes a medida que os dados são inseridos.
   3. Regras de Negócio: permissões, restrições, alçadas, validações e critérios.
   4. Memória e Histórico de Conversa: exemplo: Histórico do chat, contexto da sessão atual, últimas perguntas do usuário e estado do workflow do agente.
   5. Agente de IA: toma decisões e executa ações, é ele quem decide quando usar o RAG, decidi se precisa consultar documentos, decidir se precisa consultar APIs,  decidir se precisa chamar ML, decidir se precisa chamar GPT e consolida resultados.

Foundation: consiste na escolha de um ou vários FMs prontos + escolha de um ou mais MLs prontos e/ou desenvolvimento de um ou mais MLs adaptados aos dados do negócio.

1. 1.  ML (machine learning) utilizado quando o problema é muito específico. Especializado pelo aprendizado. ML = calcula, prevê e classifica (produz os insights). 
   2. FM (Foundation Model) que é o núcleo de um sistema de IA generativa, que são ML (machine learning) que se diferenciam pela capacidade de serem pré-treinados em grandes quantidades de dados para realizar uma ampla variedade de tarefas. FM = entende linguagem, gera conteúdo e explica resultados, transforma esses insights em conversação, explicação e apoio à decisão.
   3. LLM é um tipo de Foundation Model focado em linguagem natural. Todo LLM é um FM, ex: chat GPT, Gemini ,etc. Mas nem todo FM é um LLM.

RAG ferramenta para buscar, encontrar, recuperar, selecionar e entregar conhecimento. 

1. 1. Chunking é o processo de quebrar documentos grandes em pedaços menores (chunks) para que a IA consiga encontrar e utilizar a informação correta. 
   2. Embeddings: É o código matemático que descreve o conteúdo.
   3. Vector DB: É o banco que armazena esses embeddings.
   4. Busca semântica: Mesmo sem palavras iguais, ela encontra o conteúdo.

Infraestrutura e dados: é onde o conhecimento está armazenado/hospedado e é acessado através da camada RAG, é a força de processamento necessária, é a Conexão de internet ou VPN etc.

Sistema de IA generativa é oque que está sendo construído em volta do modelo de aprendizagem.

Imagem do material do curso da software zen

Nesse tipo de projeto o esforço com desenvolvimento de features é mínimo e o grande volume do trabalho está em incrementar a inteligência ou capacidade cognitiva da IA, então é importante entender que a gestão de projetos de um sistema de IA generativa é diferente de projeto de tecnologia que estamos habituados, pois:

• para serem úteis esses projetos raramente serão de curto prazo, mas deve-se começar pequeno e ir crescendo aos poucos.
• para validação da idéia é muito fácil fazer solução de IA POC ou Demo em poucas horas um desenvolvedor faz, lembra que o front é simples.
• cada ciclo de desenvolvimento é um experimento para melhorar atributos cognitivos da IA.
• usar Kanban para se ter visão sistêmica do que está acontecendo, mas não se fala de feature com especificações em cada cartão no kanban.
• não tem timebox no modelo de iteração.
• a pergunta deixa de ser: “A funcionalidade foi entregue?” e passa a ser: “A resposta tem qualidade suficiente para gerar valor?” Existe uma escala de qualidade.
• a IA pode dar respostas variadas a mesma pergunta, a gestão precisa aceitar variabilidade controlada.
• para mostrar a evolução desse projeto não é através de demo de quais funcionalidade foram desenvolvidas, pois em um sistema de IA oque importa é o usuário precisa confiar na resposta. Grande parte do trabalho da equipe está relacionada a construir essa confiança por meio de contexto, governança, explicabilidade e monitoramento.
• são necessárias novas práticas para gerenciar as incertezas porque não se sabe oq a IA vai gerar de output podendo trazer resultados inesperados não úteis. Exemplo de práticas: desenvolvimento orientado a experimento, gestão por métricas cognitivas, painel de avaliadores, curadoria contínua, análise de perguntas não respondidas, avaliação contínua de respostas.

Não passei esse texto para a IA reescrever porque eu quero manter a minha essência, ela agregou mas sem substituir a minha humanidade. Até o próximo artigo de IA!