Computer Science › Inteligência + Teoria
O processo KDD, dos dados brutos ao conhecimento validado, e a taxonomia de tarefas com classificação, regressão, clustering, associação e detecção de anomalias, indicando onde este currículo cobre cada uma.
Limpeza de dados antes da mineração: mecanismos de valores faltantes e imputação, escala min-max e z-score, discretização e o vazamento causado por ajustar um passo de pré-processamento no conjunto inteiro.
Warehouses versus bancos operacionais, esquemas estrela e floco de neve, data marts e as operações OLAP de roll-up, drill-down, slice, dice e pivot, com uma nota de livro vs hoje sobre warehouses colunares em nuvem.
Distância e similaridade para dados numéricos, binários e de texto: Euclidiana, Manhattan, Minkowski, Jaccard, Hamming e cosseno, e por que a escolha e a escala mudam o resultado.
O k-NN como aprendizado preguiçoso: classificação e regressão por vizinhos, escolha de k, empates, a cota de Cover e Hart com suas hipóteses, a maldição da dimensionalidade medida e as estruturas de índice que tornam as consultas viáveis.
Itemsets e suporte, a propriedade antimonótona que poda a busca e a geração de candidatos por níveis do Apriori, com candidatos gerados, podados e contados em cada nível de um conjunto pequeno de transações, conferidos com força bruta e mlxtend.
Mineração de itemsets frequentes sem geração de candidatos: construção da FP-tree com uma ordem fixa de itens, mineração por bases de padrões condicionais e medição de quando isso vence o Apriori e de quando a árvore deixa de comprimir.
De itemsets frequentes a regras: suporte, confiança e lift, por que lift é simétrico e confiança não, o caso exato em que a confiança é antimonótona, e por que confiança alta sozinha pode enganar.
Agrupamento aglomerativo e divisivo, linkage single, complete, average e Ward, como ler um dendrograma e em que isso difere do k-means.
Os pontos core, de borda e de ruído do DBSCAN, alcançabilidade por densidade, como escolher eps e minPts, e clusters de forma arbitrária.
Validação interna e externa com silhouette, Davies-Bouldin e índice de Rand ajustado, como escolher o número de clusters e quando essas métricas enganam.
Outliers pelo intervalo interquartil, por distância e por densidade local com LOF, e como decidir se um outlier é erro ou é o achado.
Como transformar texto em vetores: tokenização, stop words, stemming, bag of words, ponderação TF-IDF e similaridade de cosseno entre documentos.
Um pipeline completo, de documentos brutos a TF-IDF, redução de dimensionalidade, clusterização e avaliação, terminando na leitura dos termos principais de cada cluster.
O que muda quando padrões e clusters não cabem mais na memória: rodadas de MapReduce, o modelo em memória do Spark, mineração paralela de padrões frequentes e k-means. Mahout aparece só como nota de livro vs hoje.
Um guia de decisão para toda a disciplina: a partir dos dados e da pergunta, escolher uma tarefa de mineração e uma técnica, e dizer o que invalidaria o resultado.
Part of the Computer Science curriculum.
O processo KDD, dos dados brutos ao conhecimento validado, e a taxonomia de tarefas com classificação, regressão, clustering, associação e detecção de anomalias, indicando onde este currículo cobre cada uma.
Limpeza de dados antes da mineração: mecanismos de valores faltantes e imputação, escala min-max e z-score, discretização e o vazamento causado por ajustar um passo de pré-processamento no conjunto inteiro.
Warehouses versus bancos operacionais, esquemas estrela e floco de neve, data marts e as operações OLAP de roll-up, drill-down, slice, dice e pivot, com uma nota de livro vs hoje sobre warehouses colunares em nuvem.
Distância e similaridade para dados numéricos, binários e de texto: Euclidiana, Manhattan, Minkowski, Jaccard, Hamming e cosseno, e por que a escolha e a escala mudam o resultado.
O k-NN como aprendizado preguiçoso: classificação e regressão por vizinhos, escolha de k, empates, a cota de Cover e Hart com suas hipóteses, a maldição da dimensionalidade medida e as estruturas de índice que tornam as consultas viáveis.
Itemsets e suporte, a propriedade antimonótona que poda a busca e a geração de candidatos por níveis do Apriori, com candidatos gerados, podados e contados em cada nível de um conjunto pequeno de transações, conferidos com força bruta e mlxtend.
Mineração de itemsets frequentes sem geração de candidatos: construção da FP-tree com uma ordem fixa de itens, mineração por bases de padrões condicionais e medição de quando isso vence o Apriori e de quando a árvore deixa de comprimir.
De itemsets frequentes a regras: suporte, confiança e lift, por que lift é simétrico e confiança não, o caso exato em que a confiança é antimonótona, e por que confiança alta sozinha pode enganar.
Agrupamento aglomerativo e divisivo, linkage single, complete, average e Ward, como ler um dendrograma e em que isso difere do k-means.
Os pontos core, de borda e de ruído do DBSCAN, alcançabilidade por densidade, como escolher eps e minPts, e clusters de forma arbitrária.
Validação interna e externa com silhouette, Davies-Bouldin e índice de Rand ajustado, como escolher o número de clusters e quando essas métricas enganam.
Outliers pelo intervalo interquartil, por distância e por densidade local com LOF, e como decidir se um outlier é erro ou é o achado.
Como transformar texto em vetores: tokenização, stop words, stemming, bag of words, ponderação TF-IDF e similaridade de cosseno entre documentos.
Um pipeline completo, de documentos brutos a TF-IDF, redução de dimensionalidade, clusterização e avaliação, terminando na leitura dos termos principais de cada cluster.
O que muda quando padrões e clusters não cabem mais na memória: rodadas de MapReduce, o modelo em memória do Spark, mineração paralela de padrões frequentes e k-means. Mahout aparece só como nota de livro vs hoje.
Um guia de decisão para toda a disciplina: a partir dos dados e da pergunta, escolher uma tarefa de mineração e uma técnica, e dizer o que invalidaria o resultado.