Escolhendo e Validando um Modelo: um Guia de Decisão

• Comparar todas as famílias de modelos vistas nesta disciplina nas dimensões práticas que de fato determinam uma escolha real: interpretabilidade, tamanho dos dados e não linearidade.
• Percorrer um processo completo, de ponta a ponta, de seleção e validação de modelo num cenário resolvido, usando juntas técnicas de toda esta disciplina.
• Explicar como o arco desta disciplina, da viabilidade do aprendizado até as redes neurais, forma um argumento coerente, e não uma lista de algoritmos sem relação.
• Dizer com precisão o que foi deliberadamente deixado de fora desta disciplina e quais disciplinas irmãs retomam cada fio.

Esta disciplina começou perguntando se aprender a partir de uma amostra finita é sequer possível em princípio, e terminou, vinte e dois conceitos depois, no limiar das redes neurais. No meio do caminho, construiu regressão, classificação, controle de complexidade de modelos, avaliação, métodos baseados em árvores, máquinas de vetores de suporte, clusterização, redução de dimensionalidade e o perceptron. Cada técnica nova foi construída diretamente sobre ferramentas de foundations/mathematics-for-computing e foundations/probability-statistics, e cada uma atacou a mesma preocupação subjacente de viabilidade por um ângulo diferente. Este encerramento não introduz maquinaria nova; ele fecha o ciclo comparando todas as famílias de modelos lado a lado e percorrendo um processo de decisão completo e realista usando juntas as ferramentas desta disciplina.

Uma tabela comparativa entre todas as famílias de modelos

text
Modelo                  Interpretabilidade  Dados necessários  Lida com não linearidade        Ajuste em forma fechada?
Regressão linear         Alta                Poucos             Não (sem features construídas)   Sim
Regressão logística      Alta                Poucos             Não (fronteira linear)           Não (convexo, GD)
GDA / Naive Bayes        Média               Poucos             Depende da distribuição          Sim (forma fechada)
Árvore de decisão        Alta                Médios             Sim (nativamente)                Não (guloso)
Random forest/boosting   Baixa               Médios a muitos    Sim                              Não (iterativo)
SVM (linear)             Média               Médios             Não                              Não (QP convexo)
SVM (kernel)             Baixa               Médios             Sim (via kernel)                 Não (QP convexo)
K-means / GMM            N/A (não superv.)   Poucos a médios    Depende do kernel/forma          Não (iterativo, EM)
Rede neural              Muito baixa         Muitos             Sim                              Não (backprop, depois)

Nenhuma linha domina todas as colunas. O ponto central desta tabela, e dos argumentos de viés-variância e de dimensão VC vistos antes nesta disciplina, é que a escolha do modelo é uma troca real, decidida pelo tamanho dos dados do problema específico, pela necessidade de interpretabilidade e pela complexidade subjacente verdadeira, e não por escolher "o melhor algoritmo" em abstrato.

Lendo o arco desta disciplina como um único argumento

A pergunta sobre a viabilidade do aprendizado abriu esta disciplina com uma preocupação honesta: dá para confiar no desempenho de treino? O limite de Hoeffding e a dimensão VC responderam isso com rigor. Viés-variância, regularização e validação cruzada transformaram esse rigor em ferramentas práticas para controlar o overfitting. Cada família de modelos (regressão, classificadores, árvores, SVMs, clusterização, PCA) é então uma forma diferente de equilibrar poder expressivo contra essas mesmas preocupações de generalização, aplicada a um tipo diferente de problema (alvo numérico, alvo categórico, nenhum alvo). O perceptron e a ponte para as redes neurais fecham a disciplina mostrando que até as arquiteturas mais profundas vistas em outras partes deste currículo ainda estão, por baixo da escala, respondendo exatamente a essa mesma pergunta.

Exemplo 1: um percurso completo de seleção de modelo

Cenário: prever se um solicitante de empréstimo vai ficar inadimplente, a partir de 20 features e 5.000 exemplos rotulados, sendo que a equipe de compliance do banco exige que o raciocínio do modelo possa ser explicado a um regulador.

text
Passo 1: Tipo de tarefa: dados rotulados, alvo binário → classificação supervisionada.
Passo 2: A exigência de interpretabilidade descarta: random forests, SVMs com kernel, redes neurais.
Passo 3: Candidatos restantes: regressão logística, uma única árvore de decisão, GDA/Naive Bayes.
Passo 4: Validar os três candidatos com validação cruzada (5 folds), comparando precisão/recall,
         já que falsos negativos (aprovar um inadimplente) e falsos positivos
         (recusar um bom solicitante) provavelmente têm custos reais diferentes para o banco.
Passo 5: Suponha que a regressão logística obtenha o melhor F1 na validação cruzada
         e, além disso, ofereça uma saída de probabilidade natural que os reguladores podem
         interpretar diretamente como um escore de risco: escolhida como modelo final.
Passo 6: Ajustar a força da regularização (ridge ou lasso) com a mesma
         validação cruzada e então avaliar exatamente uma vez no conjunto de teste separado
         para reportar o número final e honesto de desempenho.

Cada passo deste percurso reaproveita um conceito específico já construído nesta disciplina (a taxonomia, a validação cruzada, as métricas de avaliação, a regularização e a disciplina de treino/teste), combinados num único processo de decisão coerente do mundo real.

Exemplo 2: quando a restrição de interpretabilidade não existe

Repetir o mesmo cenário sem a exigência regulatória de interpretabilidade abre espaço para random forests ou gradient boosting como candidatos, provavelmente melhorando a acurácia preditiva bruta ao custo direto de as decisões do modelo deixarem de ser explicáveis para um humano. É a mesma linha de interpretabilidade versus acurácia da tabela comparativa, tornada concreta: o "melhor" modelo muda conforme uma restrição do mundo real que a tabela comparativa sozinha não consegue resolver, apenas informar.

• "Existe um melhor algoritmo de machine learning, e o objetivo é encontrá-lo." A tabela comparativa e os dois exemplos resolvidos defendem diretamente o contrário: a escolha certa depende do tamanho dos dados, das exigências de interpretabilidade e da forma verdadeira da relação nos dados, um fato que esta disciplina vem construindo desde o argumento de viabilidade da abertura.
• "Modelos mais poderosos (redes neurais, ensembles com boosting) são sempre a escolha padrão certa." Eles normalmente precisam de mais dados para evitar overfitting (consequência direta de uma capacidade efetiva maior e, portanto, de uma dimensão VC maior, vista antes nesta disciplina) e sacrificam a interpretabilidade. O cenário de aprovação de empréstimos acima é um caso concreto em que essa escolha "mais poderosa" seria, na verdade, desqualificada de imediato por uma restrição de negócio real.
• "Esta disciplina já cobriu todo o machine learning." Ela deliberadamente não cobriu aprendizado por reforço (já visto em ai-theory/artificial-intelligence) nem as arquiteturas e algoritmos de treinamento de deep learning (reservados para ai-theory/deep-learning). O escopo desta disciplina sempre foi o kit clássico de aprendizado supervisionado e não supervisionado, construído sobre as bases de álgebra linear e probabilidade já estabelecidas em outras partes deste currículo.

Entre todas as famílias de modelos que esta disciplina cobriu, nenhuma escolha domina em todos os eixos: interpretabilidade, exigência de dados e capacidade de representar relações não lineares se equilibram umas contra as outras, exatamente como os argumentos de viés-variância e de dimensão VC do início desta disciplina previam. Um processo real de seleção de modelo combina as ferramentas desta disciplina (a taxonomia supervisionado/não supervisionado, a validação cruzada, as métricas de avaliação e a regularização) numa única decisão coerente, como mostra o exemplo resolvido de inadimplência. Aprendizado por reforço e arquiteturas profundas ficam deliberadamente fora do escopo aqui, tratados por ai-theory/artificial-intelligence e ai-theory/deep-learning, respectivamente.