Computer Science › Pós-Graduação
Uma pergunta de pesquisa só se torna investigável uma vez afiada numa hipótese, uma afirmação específica e falsificável que um tipo particular de evidência poderia, em princípio, refutar, e Writing for Computer Science, de Justin Zobel, trata defender uma hipótese honestamente como o trabalho real de um projeto de pesquisa, distinguindo entre as diferentes formas que a evidência pode tomar (uma prova, um resultado medido, um exemplo construído, um argumento a partir de princípios básicos) e sendo explícito sobre qual forma uma dada hipótese de fato exige antes de alegar que ela está apoiada.
Toda quantidade medida num experimento é uma variável extraída de alguma população real ou conceitual, e a amostra de fato coletada, um conjunto específico de execuções de benchmark, um conjunto específico de cargas, um conjunto específico de participantes de estudo, só é evidência útil sobre aquela população mais ampla se a amostra foi selecionada de uma forma que não a enviese sistematicamente, que é a distinção estatística fundacional que este conceito estabelece antes de qualquer agregação, variabilidade ou teste de significância poder ser discutido de forma significativa.
Reduzir medições repetidas a um único número de resumo, uma latência média, uma vazão média, descarta informação real sobre o quanto essas medições variaram, e relatar essa variabilidade honestamente, um desvio padrão, um intervalo de confiança, ou o formato completo da distribuição, é o que permite a um leitor cético julgar se uma diferença observada entre dois sistemas provavelmente é um efeito real ou ruído dentro do espalhamento normal de ambos; este conceito trata a variabilidade como evidência por si só, e não como um detalhe inconveniente que uma única média tem permissão de esconder.
A intuição humana sobre probabilidade e variabilidade é sistematicamente não confiável de formas específicas e bem documentadas, o espalhamento de uma amostra pequena é rotineiramente subestimado, e um padrão em dados genuinamente aleatórios é rotineiramente superinterpretado como um efeito real, que é exatamente por que Zobel trata a visualização deliberada de resultados, não só uma estatística de resumo calculada, como uma verificação real contra a intuição enganosa antes de uma afirmação ser escrita; este conceito se conecta diretamente ao próprio tratamento de `academic-writing` sobre a construção honesta de gráficos, a mesma disciplina subjacente aplicada primeiro a enxergar um resultado corretamente e só então a apresentá-lo.
Um teste de significância estatística responde a uma pergunta estreita e específica, quão provável é que uma diferença deste tamanho tenha surgido só por acaso se de fato não houvesse efeito subjacente, e o artigo de metodologia amplamente citado de Janez Demšar sobre comparar classificadores documenta, com dados reais da literatura de aprendizado de máquina, exatamente com que facilidade essa pergunta estreita é confundida com uma muito maior, se a diferença observada é significativa ou confiável na prática, especialmente uma vez que muitas comparações são rodadas de uma só vez e algumas fatalmente parecerão significativas puramente por acaso; este conceito pareia esse corretivo com o próprio tratamento de Zobel sobre aleatoriedade, erro e tamanho de efeito como preocupações distintas da significância sozinha.
Nem toda pesquisa em computação avalia algoritmos ou sistemas isoladamente das pessoas, um estudo de usabilidade, um teste A/B de uma interface, ou uma avaliação de como os programadores de fato usam uma ferramenta todos envolvem participantes humanos, o que introduz preocupações metodológicas reais ausentes de um experimento puramente algorítmico, o tamanho da amostra e o viés de seleção entre os participantes, o efeito de um participante saber que está sendo observado, e o relato honesto das limitações reais de um estudo dado quão poucos participantes a maioria dos estudos com humanos em computação consegue recrutar na prática em comparação com campos construídos em torno de ensaios humanos de larga escala.
Um resultado só significa algo em relação a uma linha de base, e escolher uma linha de base justa, relevante e suficientemente forte é uma das decisões mais consequentes no projeto de um experimento de computação, já que uma linha de base fraca ou desatualizada pode fazer quase qualquer método novo parecer bom, independentemente do seu mérito de fato; este conceito cobre a orientação de Zobel sobre o que torna os dados experimentais genuinamente persuasivos a um leitor cético, e não meramente presentes, estendendo o mesmo padrão do leitor cético que `academic-writing` já aplica à prosa para o próprio projeto do experimento, antes de uma única frase que o descreva ser escrita.
Código escrito para rodar um experimento tem uma obrigação de correção diferente, e de certa forma mais estrita, do que código escrito para entregar uma funcionalidade, um bug silencioso num arcabouço de avaliação pode produzir um resultado confiantemente errado que passa por toda revisão porque nada na prosa do artigo o revela, que é por que Zobel trata o código experimental como precisando da sua própria disciplina de testes e de checagem de sanidade; uma descrição escrita de um experimento então tem de dar a um leitor detalhe suficiente, configuração exata, entradas exatas, procedimento exato, para reproduzi-lo de forma independente, a mesma preocupação de reprodutibilidade que a própria política atual de Artifact Review and Badging da ACM foi criada para reconhecer e recompensar formalmente.
Medir quão rápida ou quão eficiente uma implementação real de fato é acaba sendo a sua própria subárea estabelecida com armadilhas reais e não óbvias, resolução e jitter do relógio do sistema, efeitos de aquecimento antes de um sistema compilado por JIT ou com cache populado atingir o estado estacionário, e fatores de confusão como carga de fundo numa máquina compartilhada, todos os quais podem corromper uma medição muito antes de qualquer análise estatística ser aplicada a ela; este conceito se vale do texto dedicado de algorítmica experimental de Catherine McGeoch ao lado da própria orientação de medição de desempenho de Zobel para tratar isso como uma metodologia real, e não como algo acessório à escrita de código de benchmark.
Um resultado experimental precisa de interpretação antes de significar algo, o que este número específico de fato implica sobre a hipótese sob teste, e precisa de uma checagem de robustez antes de essa interpretação poder ser confiada, o resultado se sustenta sob entradas diferentes, sementes aleatórias diferentes, ou uma configuração experimental ligeiramente diferente, ou foi uma coincidência de uma configuração particular; este conceito trata a robustez como uma propriedade real e conferível que os pesquisadores verificam deliberadamente (variando as condições e confirmando que o efeito persiste), e não como uma suposição que uma única execução bem-sucedida tem permissão de carregar sem exame.
Este é o conceito no qual `graduate-studies` está ancorado: aplicar tudo o que esta disciplina construiu, linhas de base honestas, checagens de robustez, medição correta de desempenho, significância estatística real, ao domínio específico e já tecnicamente coberto dos sistemas distribuídos, protocolos de consenso, estratégias de replicação e trade-offs de consistência aos quais o próprio `distributed-systems-ii` deste currículo já dá real profundidade técnica. Projetar um experimento real aqui significa escolher o que manter fixo e o que variar (condições de rede, padrões de partição, viés de carga), escolher uma linha de base que seja um ponto de comparação genuinamente forte (um protocolo existente bem ajustado, não um espantalho), e relatar a variabilidade entre execuções repetidas sob comportamento de rede realista, não só idealizado, já que os experimentos de sistemas distribuídos são incomumente vulneráveis a um não determinismo oculto que uma única execução limpa pode mascarar por completo.
Escolher como medir algo, o que registrar, em que granularidade, sob que condições, é, ela mesma, uma decisão de pesquisa com consequências reais, feita antes de qualquer coleta de dados começar, e a distinção de Zobel entre ciência boa e ruim na pesquisa em computação gira em torno de propriedades concretas e conferíveis (uma comparação justa, uma abordagem de medição que de fato captura o efeito sendo alegado, honestidade sobre o que não foi testado), e não sobre a sofisticação da técnica usada; este conceito encerra o capítulo de abertura da disciplina com uma reflexão sobre a pesquisa como uma prática contínua, e não como um exercício único que termina quando uma única hipótese é confirmada.
Part of the Computer Science curriculum.
Uma pergunta de pesquisa só se torna investigável uma vez afiada numa hipótese, uma afirmação específica e falsificável que um tipo particular de evidência poderia, em princípio, refutar, e Writing for Computer Science, de Justin Zobel, trata defender uma hipótese honestamente como o trabalho real de um projeto de pesquisa, distinguindo entre as diferentes formas que a evidência pode tomar (uma prova, um resultado medido, um exemplo construído, um argumento a partir de princípios básicos) e sendo explícito sobre qual forma uma dada hipótese de fato exige antes de alegar que ela está apoiada.
Toda quantidade medida num experimento é uma variável extraída de alguma população real ou conceitual, e a amostra de fato coletada, um conjunto específico de execuções de benchmark, um conjunto específico de cargas, um conjunto específico de participantes de estudo, só é evidência útil sobre aquela população mais ampla se a amostra foi selecionada de uma forma que não a enviese sistematicamente, que é a distinção estatística fundacional que este conceito estabelece antes de qualquer agregação, variabilidade ou teste de significância poder ser discutido de forma significativa.
Reduzir medições repetidas a um único número de resumo, uma latência média, uma vazão média, descarta informação real sobre o quanto essas medições variaram, e relatar essa variabilidade honestamente, um desvio padrão, um intervalo de confiança, ou o formato completo da distribuição, é o que permite a um leitor cético julgar se uma diferença observada entre dois sistemas provavelmente é um efeito real ou ruído dentro do espalhamento normal de ambos; este conceito trata a variabilidade como evidência por si só, e não como um detalhe inconveniente que uma única média tem permissão de esconder.
A intuição humana sobre probabilidade e variabilidade é sistematicamente não confiável de formas específicas e bem documentadas, o espalhamento de uma amostra pequena é rotineiramente subestimado, e um padrão em dados genuinamente aleatórios é rotineiramente superinterpretado como um efeito real, que é exatamente por que Zobel trata a visualização deliberada de resultados, não só uma estatística de resumo calculada, como uma verificação real contra a intuição enganosa antes de uma afirmação ser escrita; este conceito se conecta diretamente ao próprio tratamento de `academic-writing` sobre a construção honesta de gráficos, a mesma disciplina subjacente aplicada primeiro a enxergar um resultado corretamente e só então a apresentá-lo.
Um teste de significância estatística responde a uma pergunta estreita e específica, quão provável é que uma diferença deste tamanho tenha surgido só por acaso se de fato não houvesse efeito subjacente, e o artigo de metodologia amplamente citado de Janez Demšar sobre comparar classificadores documenta, com dados reais da literatura de aprendizado de máquina, exatamente com que facilidade essa pergunta estreita é confundida com uma muito maior, se a diferença observada é significativa ou confiável na prática, especialmente uma vez que muitas comparações são rodadas de uma só vez e algumas fatalmente parecerão significativas puramente por acaso; este conceito pareia esse corretivo com o próprio tratamento de Zobel sobre aleatoriedade, erro e tamanho de efeito como preocupações distintas da significância sozinha.
Nem toda pesquisa em computação avalia algoritmos ou sistemas isoladamente das pessoas, um estudo de usabilidade, um teste A/B de uma interface, ou uma avaliação de como os programadores de fato usam uma ferramenta todos envolvem participantes humanos, o que introduz preocupações metodológicas reais ausentes de um experimento puramente algorítmico, o tamanho da amostra e o viés de seleção entre os participantes, o efeito de um participante saber que está sendo observado, e o relato honesto das limitações reais de um estudo dado quão poucos participantes a maioria dos estudos com humanos em computação consegue recrutar na prática em comparação com campos construídos em torno de ensaios humanos de larga escala.
Um resultado só significa algo em relação a uma linha de base, e escolher uma linha de base justa, relevante e suficientemente forte é uma das decisões mais consequentes no projeto de um experimento de computação, já que uma linha de base fraca ou desatualizada pode fazer quase qualquer método novo parecer bom, independentemente do seu mérito de fato; este conceito cobre a orientação de Zobel sobre o que torna os dados experimentais genuinamente persuasivos a um leitor cético, e não meramente presentes, estendendo o mesmo padrão do leitor cético que `academic-writing` já aplica à prosa para o próprio projeto do experimento, antes de uma única frase que o descreva ser escrita.
Código escrito para rodar um experimento tem uma obrigação de correção diferente, e de certa forma mais estrita, do que código escrito para entregar uma funcionalidade, um bug silencioso num arcabouço de avaliação pode produzir um resultado confiantemente errado que passa por toda revisão porque nada na prosa do artigo o revela, que é por que Zobel trata o código experimental como precisando da sua própria disciplina de testes e de checagem de sanidade; uma descrição escrita de um experimento então tem de dar a um leitor detalhe suficiente, configuração exata, entradas exatas, procedimento exato, para reproduzi-lo de forma independente, a mesma preocupação de reprodutibilidade que a própria política atual de Artifact Review and Badging da ACM foi criada para reconhecer e recompensar formalmente.
Medir quão rápida ou quão eficiente uma implementação real de fato é acaba sendo a sua própria subárea estabelecida com armadilhas reais e não óbvias, resolução e jitter do relógio do sistema, efeitos de aquecimento antes de um sistema compilado por JIT ou com cache populado atingir o estado estacionário, e fatores de confusão como carga de fundo numa máquina compartilhada, todos os quais podem corromper uma medição muito antes de qualquer análise estatística ser aplicada a ela; este conceito se vale do texto dedicado de algorítmica experimental de Catherine McGeoch ao lado da própria orientação de medição de desempenho de Zobel para tratar isso como uma metodologia real, e não como algo acessório à escrita de código de benchmark.
Um resultado experimental precisa de interpretação antes de significar algo, o que este número específico de fato implica sobre a hipótese sob teste, e precisa de uma checagem de robustez antes de essa interpretação poder ser confiada, o resultado se sustenta sob entradas diferentes, sementes aleatórias diferentes, ou uma configuração experimental ligeiramente diferente, ou foi uma coincidência de uma configuração particular; este conceito trata a robustez como uma propriedade real e conferível que os pesquisadores verificam deliberadamente (variando as condições e confirmando que o efeito persiste), e não como uma suposição que uma única execução bem-sucedida tem permissão de carregar sem exame.
Este é o conceito no qual `graduate-studies` está ancorado: aplicar tudo o que esta disciplina construiu, linhas de base honestas, checagens de robustez, medição correta de desempenho, significância estatística real, ao domínio específico e já tecnicamente coberto dos sistemas distribuídos, protocolos de consenso, estratégias de replicação e trade-offs de consistência aos quais o próprio `distributed-systems-ii` deste currículo já dá real profundidade técnica. Projetar um experimento real aqui significa escolher o que manter fixo e o que variar (condições de rede, padrões de partição, viés de carga), escolher uma linha de base que seja um ponto de comparação genuinamente forte (um protocolo existente bem ajustado, não um espantalho), e relatar a variabilidade entre execuções repetidas sob comportamento de rede realista, não só idealizado, já que os experimentos de sistemas distribuídos são incomumente vulneráveis a um não determinismo oculto que uma única execução limpa pode mascarar por completo.
Escolher como medir algo, o que registrar, em que granularidade, sob que condições, é, ela mesma, uma decisão de pesquisa com consequências reais, feita antes de qualquer coleta de dados começar, e a distinção de Zobel entre ciência boa e ruim na pesquisa em computação gira em torno de propriedades concretas e conferíveis (uma comparação justa, uma abordagem de medição que de fato captura o efeito sendo alegado, honestidade sobre o que não foi testado), e não sobre a sofisticação da técnica usada; este conceito encerra o capítulo de abertura da disciplina com uma reflexão sobre a pesquisa como uma prática contínua, e não como um exercício único que termina quando uma única hipótese é confirmada.