Computer Science › Especialização
Um modelo de linguagem nunca vê caracteres nem palavras, ele vê ids inteiros de tokens tirados de um vocabulário fixo. O byte-pair encoding constrói esse vocabulário fundindo, de forma gulosa, o par adjacente de símbolos mais frequente, e fica no meio do caminho entre um vocabulário de caracteres (pequeno, mas com sequências longas demais) e um vocabulário de palavras (sequências curtas, mas toda palavra nunca vista vira desconhecida).
\"Conhecerás uma palavra pela companhia que ela mantém\": o word2vec transforma essa hipótese linguística num objetivo de treino, aprendendo vetores densos cujos produtos internos preveem quais palavras coocorrem, e a geometria resultante (palavras parecidas próximas, deslocamentos consistentes para analogias) é a ancestral da camada de embedding na base de todo modelo de linguagem moderno.
O pré-treino autossupervisionado fabrica rótulos a partir de texto bruto: um modelo causal (GPT) prevê cada próximo token a partir dos anteriores, um modelo mascarado (BERT) prevê tokens escondidos a partir dos dois lados. A escolha do objetivo decide o que o modelo consegue fazer depois, gerar texto da esquerda para a direita ou codificar uma frase inteira para classificação.
A perda de teste de um modelo de linguagem cai como uma lei de potência suave em parâmetros, dados e computação, o que transforma \"qual tamanho o modelo deve ter\" num cálculo de engenharia. O Chinchilla mostrou que a receita anterior era muito desbalanceada: para um orçamento fixo de computação, parâmetros e tokens de treino devem crescer juntos, cerca de 20 tokens por parâmetro.
O fine-tuning completo atualiza e armazena cada um dos bilhões de pesos de um modelo por tarefa. O LoRA congela os pesos pré-treinados e aprende só uma correção de baixo posto BA somada a cada matriz alvo, cortando os parâmetros treináveis em ordens de grandeza, e funciona porque a atualização de que uma tarefa realmente precisa tem posto intrínseco baixo.
Um modelo pré-treinado imita a internet, não um assistente útil. O RLHF coleta comparações humanas entre pares de respostas, ajusta um modelo de recompensa a elas com o modelo de Bradley-Terry e otimiza a política contra essa recompensa sob uma coleira de KL; o DPO chega ao mesmo ótimo com uma única perda no estilo de classificação, sem modelo de recompensa explícito nem laço de RL.
Os pesos de um modelo são um retrato congelado e com perdas dos seus dados de treino. A geração aumentada por recuperação busca trechos relevantes no momento da consulta (por similaridade de embeddings densos, busca por palavras-chave ou ambos) e os coloca na janela de contexto, para que as respostas possam citar fatos atuais, privados ou raros que os pesos nunca memorizaram.
A classificação responde \"o que há nesta imagem\"; a detecção também responde \"onde\", com uma caixa por objeto, e a segmentação responde por pixel. O Faster R-CNN propõe caixas candidatas e as classifica, a U-Net reamostra as features grosseiras de uma CNN de volta à resolução cheia com skip connections, e ambos são treinados e avaliados com interseção sobre união.
Um Vision Transformer corta uma imagem em patches de 16x16 e os trata como tokens, trocando a localidade embutida da CNN por uma flexibilidade que compensa quando há dados suficientes. O CLIP treina um encoder de imagem e um de texto juntos para que pares imagem-legenda correspondentes caiam perto num espaço compartilhado, e é isso que torna possível a classificação zero-shot por prompt de texto.
O espaço latente de um autoencoder comum tem buracos: decodificar um ponto aleatório dá lixo. Um VAE faz o encoder produzir uma distribuição, a regulariza em direção a uma gaussiana padrão com um termo de KL e treina maximizando o limite inferior da evidência, usando o truque da reparametrização para que os gradientes atravessem o passo de amostragem.
Um modelo de difusão aprende a desfazer um processo fixo que transforma dados aos poucos em ruído gaussiano: o treino é só regredir o ruído que foi adicionado (um erro quadrático médio simples), e a geração roda o removedor de ruído aprendido de trás para a frente a partir de ruído puro. O flow matching reformula a mesma ideia como aprender um campo de velocidades que transporta ruído até os dados por caminhos simples.
A iteração de valor precisa do modelo de transição e de uma tabela sobre todo estado; o Q-learning dispensa o modelo aprendendo com transições amostradas, e o DQN dispensa a tabela aproximando Q com uma rede neural. Duas correções de engenharia, um replay buffer e uma rede alvo atualizada devagar, são o que impede essa combinação de divergir.
Em vez de aprender valores e agir de forma gulosa, um método de gradiente de política ajusta os parâmetros da política diretamente na direção que torna mais prováveis as ações de alto retorno. O estimador REINFORCE torna esse gradiente calculável a partir de amostras, um baseline doma a sua variância e o objetivo recortado do PPO impede que cada atualização mova a política longe demais de uma vez.
Dados três pedidos realistas (um assistente de suporte sobre uma base de conhecimento privada e mutável, uma busca visual de produtos sem conjunto de treino rotulado e um controlador de armazém que precisa aprender por tentativa e erro), escolha e justifique um projeto desta trilha para cada um, e diga o que cada alternativa rejeitada teria custado.
Part of the Computer Science curriculum.
Um modelo de linguagem nunca vê caracteres nem palavras, ele vê ids inteiros de tokens tirados de um vocabulário fixo. O byte-pair encoding constrói esse vocabulário fundindo, de forma gulosa, o par adjacente de símbolos mais frequente, e fica no meio do caminho entre um vocabulário de caracteres (pequeno, mas com sequências longas demais) e um vocabulário de palavras (sequências curtas, mas toda palavra nunca vista vira desconhecida).
\"Conhecerás uma palavra pela companhia que ela mantém\": o word2vec transforma essa hipótese linguística num objetivo de treino, aprendendo vetores densos cujos produtos internos preveem quais palavras coocorrem, e a geometria resultante (palavras parecidas próximas, deslocamentos consistentes para analogias) é a ancestral da camada de embedding na base de todo modelo de linguagem moderno.
O pré-treino autossupervisionado fabrica rótulos a partir de texto bruto: um modelo causal (GPT) prevê cada próximo token a partir dos anteriores, um modelo mascarado (BERT) prevê tokens escondidos a partir dos dois lados. A escolha do objetivo decide o que o modelo consegue fazer depois, gerar texto da esquerda para a direita ou codificar uma frase inteira para classificação.
A perda de teste de um modelo de linguagem cai como uma lei de potência suave em parâmetros, dados e computação, o que transforma \"qual tamanho o modelo deve ter\" num cálculo de engenharia. O Chinchilla mostrou que a receita anterior era muito desbalanceada: para um orçamento fixo de computação, parâmetros e tokens de treino devem crescer juntos, cerca de 20 tokens por parâmetro.
O fine-tuning completo atualiza e armazena cada um dos bilhões de pesos de um modelo por tarefa. O LoRA congela os pesos pré-treinados e aprende só uma correção de baixo posto BA somada a cada matriz alvo, cortando os parâmetros treináveis em ordens de grandeza, e funciona porque a atualização de que uma tarefa realmente precisa tem posto intrínseco baixo.
Um modelo pré-treinado imita a internet, não um assistente útil. O RLHF coleta comparações humanas entre pares de respostas, ajusta um modelo de recompensa a elas com o modelo de Bradley-Terry e otimiza a política contra essa recompensa sob uma coleira de KL; o DPO chega ao mesmo ótimo com uma única perda no estilo de classificação, sem modelo de recompensa explícito nem laço de RL.
Os pesos de um modelo são um retrato congelado e com perdas dos seus dados de treino. A geração aumentada por recuperação busca trechos relevantes no momento da consulta (por similaridade de embeddings densos, busca por palavras-chave ou ambos) e os coloca na janela de contexto, para que as respostas possam citar fatos atuais, privados ou raros que os pesos nunca memorizaram.
A classificação responde \"o que há nesta imagem\"; a detecção também responde \"onde\", com uma caixa por objeto, e a segmentação responde por pixel. O Faster R-CNN propõe caixas candidatas e as classifica, a U-Net reamostra as features grosseiras de uma CNN de volta à resolução cheia com skip connections, e ambos são treinados e avaliados com interseção sobre união.
Um Vision Transformer corta uma imagem em patches de 16x16 e os trata como tokens, trocando a localidade embutida da CNN por uma flexibilidade que compensa quando há dados suficientes. O CLIP treina um encoder de imagem e um de texto juntos para que pares imagem-legenda correspondentes caiam perto num espaço compartilhado, e é isso que torna possível a classificação zero-shot por prompt de texto.
O espaço latente de um autoencoder comum tem buracos: decodificar um ponto aleatório dá lixo. Um VAE faz o encoder produzir uma distribuição, a regulariza em direção a uma gaussiana padrão com um termo de KL e treina maximizando o limite inferior da evidência, usando o truque da reparametrização para que os gradientes atravessem o passo de amostragem.
Um modelo de difusão aprende a desfazer um processo fixo que transforma dados aos poucos em ruído gaussiano: o treino é só regredir o ruído que foi adicionado (um erro quadrático médio simples), e a geração roda o removedor de ruído aprendido de trás para a frente a partir de ruído puro. O flow matching reformula a mesma ideia como aprender um campo de velocidades que transporta ruído até os dados por caminhos simples.
A iteração de valor precisa do modelo de transição e de uma tabela sobre todo estado; o Q-learning dispensa o modelo aprendendo com transições amostradas, e o DQN dispensa a tabela aproximando Q com uma rede neural. Duas correções de engenharia, um replay buffer e uma rede alvo atualizada devagar, são o que impede essa combinação de divergir.
Em vez de aprender valores e agir de forma gulosa, um método de gradiente de política ajusta os parâmetros da política diretamente na direção que torna mais prováveis as ações de alto retorno. O estimador REINFORCE torna esse gradiente calculável a partir de amostras, um baseline doma a sua variância e o objetivo recortado do PPO impede que cada atualização mova a política longe demais de uma vez.
Dados três pedidos realistas (um assistente de suporte sobre uma base de conhecimento privada e mutável, uma busca visual de produtos sem conjunto de treino rotulado e um controlador de armazém que precisa aprender por tentativa e erro), escolha e justifique um projeto desta trilha para cada um, e diga o que cada alternativa rejeitada teria custado.