Como a IA generativa responde em linguagem natural?
Para a a IA generativa responder em linguagem natural, o Decoder vai construir a frase de saída palavra por palavra, mas para isso precisa receber do Encoder o significado do que o usuário escrever ou o significado do que o usuário escrever mais o contexto que a aplicação enviou, tudo isso em representações numéricas contextualizadas. Para saber o funcionamento do encoder vá ao post: Como a IA generativa entende a linguagem natural? – Agile Pink Vamos ver dois cenários possíveis no Decoder: 
imagem gerada por IA
imagem gerada por IA
Para determinar o próximo token mais provável da resposta ele inicia por start ou BOS.
imagem gerada por IA
No exemplo em que o Decoder já gerou: “O que você” para descobrir o próximo token:
- Masked Self-Attention olha para a resposta que já foi criada: O → que → você. Ela relaciona esses tokens entre si, sem enxergar os tokens futuros.
- Cross-Attention olha para os vetores do contexto que chegaram prontos — por exemplo, a informação sobre “José come abacaxi olhando o céu azul” e a instrução da aplicação.
- FFN pega a representação resultante dessas duas atenções e a processa/transforma antes da etapa que produzirá as probabilidades do próximo token. Ou seja: a FFN não escolhe “qual frase ler”. Quando chega nela, as informações da resposta e do contexto já estão misturadas na representação vetorial.
Vamos entender um pouco mais de FFN
Ela funciona mais ou menos como um filtro de padrões aprendidos. Dentro dela existem milhares/milhões de pesos aprendidos no treinamento. Esses pesos fazem certos padrões ficarem mais fortes ou mais fracos. Depois dela certas características podem estar muito mais evidentes.
FFN 🧠 “Dadas essas relações que vieram da atenção, que padrões que eu aprendi são importantes aqui?”
E isso explica por que ela é uma rede neural: a FFN contém camadas de neurônios artificiais conectados por pesos. Esses pesos foram ajustados durante o treinamento.
Ela não tem uma regra escrita: “Se aparecer abacaxi depois de come, marque como alimento.” Ela aprendeu numericamente esse tipo de padrão.
Para didática vamos ver um exemplo:
imagem gerada por IA
