Autoencoders e Espaços Latentes Aprendidos

• Descrever a arquitetura encoder-decoder de um autoencoder e o loss de reconstrução contra o qual ele é treinado.
• Explicar por que o gargalo (uma camada oculta mais estreita que a entrada) é a restrição arquitetural essencial que força uma compressão útil, em vez de uma cópia trivial.
• Explicar o sentido preciso em que um autoencoder com encoder/decoder lineares e loss de erro quadrático se reduz ao PCA, e o que um autoencoder não linear acrescenta além disso.
• Dizer para que um autoencoder serve, e para que não serve, como modelo generativo.

representation-learning-the-network-learns-its-own-features estabeleceu a afirmação unificadora de que toda rede desta disciplina aprende sua própria representação interna da entrada. Um autoencoder faz de aprender uma representação o objetivo de treino inteiro e explícito da rede, em vez de um subproduto de alguma outra tarefa supervisionada; não há rótulo nenhum. Ele também é a ponte natural entre o aprendizado de representações e os modelos generativos de fato do bloco final: é a arquitetura mais simples desta disciplina que tanto comprime dados em uma representação aprendida quanto pode rodar ao contrário, produzindo dados novos a partir dessa representação.

O conceito principal-component-analysis de ai-theory/machine-learning já cobriu exatamente essa ideia de compressão na sua forma linear: encontrar as direções que melhor preservam a variância dos dados e projetar sobre elas. Um autoencoder é a generalização não linear direta dessa mesma ideia, usando a profundidade e a não linearidade disponíveis em uma rede neural completa.

Encoder, gargalo, decoder

Um autoencoder consiste em duas redes treinadas em conjunto: um encoder f que mapeia uma entrada x para uma representação latente compacta z = f(x) (normalmente com dimensão bem menor que x) e um decoder g que mapeia essa representação latente de volta para uma reconstrução x̂ = g(z), tentando recuperar a entrada original o mais fielmente possível. O modelo inteiro é treinado de ponta a ponta (usando exatamente o mecanismo de backpropagation já visto) para minimizar um loss de reconstrução, normalmente o erro quadrático:

text
L = ‖x − x̂‖² = ‖x − g(f(x))‖²

sem nenhum rótulo envolvido em lugar algum: a própria entrada da rede serve como alvo de treino.

Por que o gargalo é o ponto central

Se a representação latente z pudesse ser pelo menos tão grande quanto a própria entrada x, o encoder e o decoder poderiam simplesmente aprender a função identidade (copiar cada valor de entrada direto para a saída), atingindo loss de reconstrução zero sem aprender nada útil sobre a estrutura real dos dados. O gargalo (restringir deliberadamente z a ter muito menos dimensões que x) torna essa solução trivial impossível: a rede é forçada a descartar alguma informação, e a pressão da função de loss para minimizar o erro de reconstrução a empurra a descartar a informação menos importante e preservar a estrutura mais informativa dos dados, exatamente o mesmo objetivo que o PCA já otimiza no seu caso linear.

A conexão exata com o PCA

Suponha que o encoder e o decoder sejam ambos restritos a ser lineares (sem função de ativação) e que o loss seja o erro quadrático, exatamente como acima. Nesse caso específico, o autoencoder ótimo aprende exatamente o mesmo subespaço gerado pelos principais componentes do PCA; a solução baseada em autovetores de principal-component-analysis e a solução deste autoencoder linear treinado por gradiente descendente convergem para a mesma resposta (a menos de uma rotação dentro desse subespaço), já que as duas resolvem o mesmo problema matemático: encontrar o subespaço linear de dimensão menor que melhor preserva a variância dos dados sob um objetivo de erro quadrático de reconstrução. Um autoencoder geral (não linear), com ativações não lineares no encoder e no decoder, pode ir além: ele pode aprender uma variedade curva e não linear que se ajusta à estrutura real dos dados mais de perto do que qualquer subespaço linear conseguiria, capturando estrutura genuinamente não linear que o PCA, restrito a retas e planos, não consegue representar.

Da reconstrução à geração

Depois de treinado, o decoder sozinho pode ser usado para gerar novas saídas: alimente-o com um novo ponto z do espaço latente (não necessariamente a codificação de alguma entrada real de treino) e ele vai produzir uma reconstrução de aparência plausível. É o primeiro passo real em direção à modelagem generativa nesta disciplina; mas o espaço latente de um autoencoder simples (não variacional) não tem garantia de ser suave ou bem estruturado em toda parte, já que o treino só empurrou o encoder a posicionar de forma útil as codificações de exemplos reais de treino; regiões do espaço latente entre essas codificações ou além delas podem produzir saídas de baixa qualidade e irrealistas. Essa limitação é exatamente o que as arquiteturas generativas mais sofisticadas do próximo conceito foram construídas para resolver.

Exemplo 1: a falha da solução trivial sem gargalo

Considere um "autoencoder" cuja dimensão latente é exatamente igual à dimensão da entrada, com encoder e decoder iguais à matriz identidade. Loss de reconstrução: L = ‖x − x‖² = 0 para toda entrada x possível, com o encoder e o decoder não tendo aprendido literalmente nada sobre a estrutura dos dados; loss perfeito, compressão útil zero. É exatamente por isso que toda arquitetura real de autoencoder insiste em dim(z) ≪ dim(x): sem essa restrição, a função de loss sozinha não dá nenhuma pressão para aprender nada além da cópia trivial.

Exemplo 2: um autoencoder linear minúsculo convergindo para uma direção parecida com a do PCA

Considere os dados de entrada 2D {(1,1), (2,2), (3,3), (-1,-1)}, todos os pontos exatamente sobre a reta y = x. Um autoencoder linear com gargalo de 1 dimensão, encoder z = w_e · x e decoder x̂ = w_d · z, treinado para minimizar o erro quadrático de reconstrução, vai convergir para direções w_e e w_d que projetam sobre a reta na direção (1,1) (e reconstroem a partir dela), a única direção que captura 100% da variância deste dataset, já que todo ponto já está exatamente sobre ela. É exatamente a direção que o PCA encontraria como seu único componente principal para este mesmo dataset; uma instância pequena e concreta da equivalência exata entre autoencoder linear e PCA enunciada na Teoria Central, com um dataset simples o bastante para verificar a olho: a única direção com alguma variância é aquela para a qual os dois métodos convergem.

• "Qualquer autoencoder com dimensão latente pequena o bastante é automaticamente tão bom quanto o PCA." A equivalência com o PCA vale especificamente para um encoder/decoder linear com loss de erro quadrático; introduza ativações não lineares (o caso típico, e mais poderoso, na prática) e o autoencoder pode aprender uma estrutura curva genuinamente diferente, que os subespaços lineares do PCA não conseguem representar; os dois só são equivalentes no caso linear restrito, e não em geral.
• "Um autoencoder é treinado sem função de loss, já que não tem rótulos." Ele definitivamente tem uma função de loss (o erro de reconstrução); ele só usa a própria entrada como alvo, em vez de um rótulo fornecido externamente. Isso às vezes é chamado de aprendizado autossupervisionado justamente por esse motivo: o sinal de supervisão vem dos próprios dados, e não de um rótulo anotado por humanos.
• "O decoder de um autoencoder treinado consegue gerar amostras novas de alta qualidade a partir de qualquer ponto do espaço latente." O objetivo de treino de um autoencoder simples só otimiza a reconstrução de pontos reais de treino; ele não dá nenhuma garantia de que regiões do espaço latente entre esses pontos ou além deles sejam decodificadas em algo realista. Essa lacuna específica é exatamente o que motiva as arquiteturas generativas mais fundamentadas vistas a seguir.

Um autoencoder treina um encoder e um decoder em conjunto para reconstruir a própria entrada através de um gargalo deliberadamente estreito, sem usar rótulos; é a compressão forçada do encoder, e não a função de loss sozinha, que impede a solução trivial de cópia pela identidade e empurra a rede a aprender estrutura genuinamente útil. Com encoder/decoder lineares e loss de erro quadrático, um autoencoder se reduz exatamente ao PCA (ai-theory/machine-learning); com ativações não lineares, ele generaliza a compressão linear do PCA para uma compressão não linear. Seu decoder, rodado isoladamente sobre novos pontos latentes, é o primeiro mecanismo generativo real desta disciplina, com uma limitação genuína (um espaço latente não estruturado e pouco confiável longe dos exemplos reais de treino) que motiva as arquiteturas generativas mais sofisticadas vistas no próximo e último conceito deste bloco.