A inteligência artificial generativa é a inteligência artificial capaz de gerar texto, imagens ou outros dados usando modelos generativos, muitas vezes em resposta a solicitações. Os modelos de IA generativa aprendem os padrões e a estrutura de seus dados de treinamento de entrada e, em seguida, geram novos dados com características semelhantes.

IA generativa é uma inteligência artificial capaz de gerar textos, imagens e outros tipos de conteúdo. O que a torna uma tecnologia fantástica é que ela democratiza a IA, qualquer pessoa pode usá-la com apenas um prompt de texto, uma frase escrita em linguagem natural.

como funcionam os grandes modelos de linguagem

• Tokenizer, texto para números: Large Language Models (LLM) recebem um texto como entrada e geram um texto como saída. No entanto, sendo modelos estatísticos, funcionam muito melhor com números do que com sequências de texto. É por isso que cada entrada do modelo é processada por um tokenizer, antes de ser usada pelo modelo principal. Um token é um pedaço de texto – consistindo em um número variável de caracteres, portanto a principal tarefa do tokenizer é dividir a entrada em uma matriz de tokens. Em seguida, cada token é mapeado com um índice de token, que é a codificação inteira do bloco de texto original.
• Previsão de tokens de saída: Dados n tokens como entrada (com no máximo n variando de um modelo para outro), o modelo é capaz de prever um token como saída. Esse token é então incorporado à entrada da próxima iteração, em um padrão de janela em expansão, permitindo uma melhor experiência do usuário ao obter uma (ou múltiplas) frases como resposta. Isso explica por que, se você já brincou com o ChatGPT, deve ter notado que às vezes parece que ele para no meio de uma frase.
• Processo de seleção, distribuição de probabilidade: O token de saída é escolhido pelo modelo de acordo com sua probabilidade de ocorrer após a sequência de texto atual. Isso ocorre porque o modelo prevê uma distribuição de probabilidade sobre todos os ‘próximos tokens’ possíveis, calculada com base em seu treinamento. Porém, nem sempre o token com maior probabilidade é escolhido na distribuição resultante. Um certo grau de aleatoriedade é adicionado a esta escolha, de forma que o modelo atue de forma não determinística – não obtemos exatamente a mesma saída para a mesma entrada. Este grau de aleatoriedade é adicionado para simular o processo de pensamento criativo e pode ser ajustado usando um parâmetro de modelo denominado temperatura.

No próximo artigo, faremos demonstrações práticas.

Obrigado