De Perceptrons a Redes Neurais

• Explicar a limitação fundamental do perceptron (ele só consegue representar fronteiras de decisão lineares) e por que empilhar perceptrons em camadas supera isso.
• Descrever a substituição do limiar rígido por uma função de ativação suave e explicar por que isso é necessário para treinar com gradient descent.
• Rastrear uma passagem direta (forward pass) por uma rede neural minúscula, especificada à mão, com uma camada oculta.
• Explicar com precisão onde a cobertura de redes neurais desta disciplina termina e o que fica deliberadamente para uma disciplina dedicada de deep learning.

O teorema de convergência do perceptron do conceito anterior carregava uma limitação real, explicitada no próprio exemplo resolvido: um único perceptron só consegue representar uma fronteira de decisão linear e simplesmente não resolve problemas como o padrão XOR, não importa como seja treinado. Este conceito pega a única modificação que corrige isso (empilhar muitas unidades parecidas com o perceptron em camadas) e a trata como a ponte deliberada e o ponto de parada entre esta disciplina e ai-theory/deep-learning (uma disciplina irmã vazia), em vez de um mergulho em toda a mecânica de treinar redes profundas.

Empilhando unidades em camadas

Um único perceptron calcula um escore linear e aplica um limiar. Uma rede neural empilha muitas dessas unidades em camadas: uma camada de entrada (as features brutas), uma ou mais camadas ocultas (cada unidade calcula uma soma ponderada das saídas da camada anterior e depois aplica uma função de ativação) e uma camada de saída (que produz a previsão final). Crucialmente, compor duas camadas puramente lineares em sequência colapsaria numa única função linear, matematicamente idêntica a um único perceptron ou a uma regressão logística, sem ganho algum. O poder expressivo genuíno de uma rede de múltiplas camadas vem especificamente de inserir uma função de ativação não linear entre as camadas.

Trocando o limiar rígido por uma ativação suave

O limiar rígido do perceptron (uma função degrau) não é diferenciável em zero e é constante em todo o resto: sua derivada é zero em quase todo ponto, o que não dá ao gradient descent nada com que trabalhar. As redes neurais substituem esse limiar rígido por uma função de ativação suave e diferenciável (historicamente a sigmoide já apresentada na regressão logística ou, mais comum na prática moderna, a função ReLU max(0, z)), especificamente para que a saída geral da rede seja uma função diferenciável de cada peso em cada camada, tornando-a treinável de ponta a ponta por gradient descent.

Por que é exatamente aqui que esta disciplina para

Treinar uma rede de múltiplas camadas exige calcular o gradiente da perda em relação a cada peso em cada camada, um algoritmo chamado backpropagation, que aplica a regra da cadeia do cálculo camada por camada. O próprio backpropagation, junto com as arquiteturas (redes convolucionais, redes recorrentes, transformers) e os truques de treinamento (dropout, batch normalization, otimizadores modernos além do gradient descent simples) que tornam as redes profundas práticas em escala, fica deliberadamente inteiro para ai-theory/deep-learning. O papel desta disciplina é mais estreito e específico: estabelecer exatamente por que os modelos lineares batem num teto rígido de representação e exatamente qual mudança mínima (camadas mais não linearidade) o rompe, sem desenvolver a maquinaria para treinar redes com muitas camadas de forma eficiente.

Exemplo 1: resolvendo o XOR com uma camada oculta

O padrão XOR que derrotou um único perceptron no conceito anterior ((1,1)→+1, (−1,−1)→+1, (1,−1)→−1, (−1,1)→−1) pode ser resolvido exatamente por uma rede com uma camada oculta de apenas 2 unidades. Intuitivamente: uma unidade oculta pode aprender uma fronteira que separa (1,1) do resto, e uma segunda unidade oculta pode aprender uma fronteira que separa (−1,−1) do resto; a camada de saída então combina esses dois sinais ocultos (cada um, individualmente, ainda só uma fronteira linear) numa decisão final que reconstrói corretamente o padrão XOR que nenhuma fronteira linear única conseguiria representar. É a ilustração concreta e verificável de por que camadas com não linearidade aumentam estritamente o poder expressivo além de qualquer modelo linear isolado.

Exemplo 2: uma passagem direta rastreada à mão

Considere uma rede minúscula: 2 entradas, 1 camada oculta com 2 unidades ReLU, 1 unidade de saída. Dada a entrada x = (1, 2), pesos ocultos w₁ = (1, −1), w₂ = (0.5, 0.5) (com vieses 0) e pesos de saída w_out = (1, 1) (viés 0):

text
Unidade oculta 1: z₁ = w₁·x = 1(1) + (−1)(2) = −1     →  ReLU(−1) = max(0, −1) = 0
Unidade oculta 2: z₂ = w₂·x = 0.5(1) + 0.5(2) = 1.5   →  ReLU(1.5) = max(0, 1.5) = 1.5

Saída: ŷ = w_out · (0, 1.5) = 1(0) + 1(1.5) = 1.5

Cada passo é uma combinação linear simples seguida de uma função não linear simples: a "passagem direta" inteira de uma rede neural não é nada mais exótico que aplicações repetidas exatamente desse padrão, camada após camada.

• "Uma rede neural com mais camadas é só um modelo linear maior." Sem uma função de ativação não linear entre as camadas, isso seria exatamente verdade: camadas lineares empilhadas colapsam algebricamente numa única camada linear equivalente. A não linearidade é precisamente o que impede esse colapso e é toda a fonte do poder expressivo extra de uma rede de múltiplas camadas.
• "Redes neurais são treinadas do mesmo jeito que o perceptron, só que com mais camadas." A regra de atualização guiada por erros do perceptron não se generaliza para redes de múltiplas camadas. O treinamento exige backpropagation para calcular como a perda depende de cada peso em cada camada, um algoritmo bem mais elaborado que esta disciplina deliberadamente não desenvolve, reservando-o para ai-theory/deep-learning.
• "Esta disciplina já cobriu redes neurais, então deep learning é redundante." Este conceito cobre só a ideia mínima de representação (por que empilhar com não linearidade rompe o teto linear), e não o algoritmo de treinamento, as arquiteturas nem as técnicas de escala que tornam as redes profundas úteis na prática em dados reais e de grande escala. Esse é todo o escopo, separado, da disciplina irmã para a qual este conceito existe para passar o bastão.

Empilhar unidades parecidas com o perceptron em camadas, com uma função de ativação suave e diferenciável substituindo o limiar rígido do perceptron, rompe o teto da fronteira linear única que limitou todos os classificadores desta disciplina até aqui, como demonstrado concretamente por uma rede de 2 unidades ocultas resolvendo o problema XOR que um único perceptron comprovadamente não consegue. Este conceito estabelece exatamente esse salto de representação e para aí, deixando de propósito o backpropagation, as arquiteturas profundas e as técnicas de treinamento em grande escala para a disciplina dedicada ai-theory/deep-learning.