Quando a Evidência Contradiz a Hipótese

• Explicar por que uma hipótese falsificada é um resultado genuíno, não uma investigação desperdiçada.
• Distinguir atualizar uma hipótese à luz de evidência contraditória de resgatá-la com um remendo ad hoc.
• Reconhecer o padrão específico de resgate ad hoc que Popper identificou como uma marca de pseudociência.
• Aplicar uma resposta disciplinada a evidência contraditória: enunciar exatamente o que quebrou, e revisar a hipótese para dar conta disso.
• Avaliar um "conserto" proposto para uma hipótese falhada e julgar se é uma revisão real ou uma esquiva infalsificável.

Toda hipótese eventualmente encontra evidência, e aproximadamente metade das vezes, se a hipótese de fato era arriscada o suficiente para valer a pena enunciar, essa evidência não vai cooperar. Os números medidos não corresponderão à previsão, o comportamento aparecerá no caso de controle também, o efeito desaparecerá sob uma condição ligeiramente diferente. Este conceito é sobre esse momento: o que acontece, e o que deveria acontecer, quando uma hipótese em que você acreditava é contradita por dados em que você confia.

A reação instintiva é frequentemente decepção silenciosa, seguida por uma busca igualmente silenciosa por uma razão pela qual o resultado contraditório na verdade não conta, a máquina de benchmark provavelmente estava sob carga, o ambiente de teste deve ter sido mal configurado, esse caso é provavelmente apenas um outlier. Às vezes essas explicações são verdadeiras. Mas tratado como um reflexo em vez de como algo em si verificado, esse instinto é exatamente o oposto do que torna uma investigação confiável. Um conceito anterior nesta disciplina estabeleceu o critério de falsificabilidade de Popper: uma hipótese é científica apenas se alguma observação pudesse, em princípio, prová-la errada. Esse critério não é satisfeito apenas escrevendo uma hipótese em forma falsificável no início, tem que ser honrado no final também, quando uma observação falsificadora de fato aparece. Uma hipótese que é falsificável no papel mas, na prática, nunca é permitida falhar, porque todo resultado contrário é explicado embora, se comporta exatamente como as afirmações infalsificáveis contra as quais Popper alertava, apenas com etapas extras.

O tratamento de Popper pela Stanford Encyclopedia of Philosophy é direto sobre por que isso importa: para Popper, a credibilidade científica de uma teoria vem especificamente de sua disposição de se expor a refutação e sobreviver, não de acumular confirmações. Uma teoria que é infinitamente salva de refutação aparente adicionando novas suposições não testadas a cada vez, suposições inventadas com o único propósito de explicar aquele resultado problemático, para de fazer a coisa que a tornava científica em primeiro lugar. Popper chamou esse tipo de remendo de resgate "ad hoc" (ou "convencionalista"), e ele tratou um padrão de resgate ad hoc repetido como um dos sinais diagnósticos mais claros de que uma investigação silenciosamente parou de ser científica, qualquer que fosse a forma original que sugerisse. Este conceito existe para garantir que quando você pessoalmente encontrar evidência contraditória, você saiba qual dessas duas coisas está fazendo, e que a mais difícil, revisar a hipótese, geralmente é a certa.

Duas respostas a evidência contraditória, e apenas uma é honesta

Quando um resultado contradiz uma hipótese, há exatamente dois movimentos estruturalmente diferentes disponíveis:

1. Revisar a hipótese. Aceitar que a hipótese, como enunciada, está errada ou incompleta, e mudá-la para algo que ambos dá conta da nova evidência e permanece falsificável, idealmente algo que agora faz uma previsão diferente e verificável da que a original fazia.
2. Resgatar a hipótese. Manter a hipótese exatamente como estava, e em vez disso adicionar uma explicação de caso especial para por que esse pedaço particular de evidência não conta contra ela, a máquina estava barulhenta, o usuário era atípico, essa execução não reflete condições "reais."

Esses podem parecer superficialmente similares, ambos envolvem dizer algo novo em resposta ao resultado surpreendente, mas se comportam completamente diferente daí em diante. Uma revisão genuína muda o que a hipótese prevê da próxima vez, e essa nova previsão em si é falsificável: você pode ir verificar se a hipótese revisada se sustenta sob um novo teste. Um resgate não muda nada sobre o que a hipótese prevê; apenas explica essa instância única, deixando a hipótese original livre para ser "confirmada" de novo na próxima vez e resgatada de novo na vez seguinte. A pergunta diagnóstica de Popper é exatamente esta: o movimento sendo feito expõe a hipótese a um novo teste mais afiado, ou apenas isola a velha hipótese do teste que acabou de falhar?

Por que resgate é tentador e revisão é mais difícil

Resgate é tentador por uma razão comum e não misteriosa: a hipótese provavelmente era um investimento real. Tempo foi gasto construindo um experimento em torno dela, um modelo mental foi construído em cima dela, e possivelmente outros resultados já pareciam confirmá-la. Evidência contraditória ameaça tudo isso de uma vez, e uma explicação ad hoc permite que você mantenha o investimento enquanto faz o desconforto imediato desaparecer. Revisão, em contraste, exige admitir que o modelo mental estava errado em algum lugar, e, a parte genuinamente mais difícil, descobrir exatamente onde, precisamente o suficiente para enunciar uma nova hipótese igualmente falsificável em seu lugar. Enfraquecer uma hipótese é fácil ("bem, é verdade na maioria das vezes"); uma hipótese enfraquecida e vaga não é obviamente falsa, mas um conceito anterior nesta disciplina já estabeleceu por que isso não é uma virtude, geralmente significa que a hipótese silenciosamente se tornou menos falsificável, não mais precisa.

Um teste para distinguir os dois

Uma verificação prática, diretamente derivada do critério de Popper: depois de fazer a mudança, pergunte se a nova versão da hipótese proíbe algo que a versão antiga ainda não proibia, ou se ela simplesmente permite o único resultado que acabou de constrangê-la enquanto não proíbe nada novo. Uma revisão genuína tipicamente estreita ou redireciona a hipótese de uma forma que descarta alguma outra possibilidade que ela anteriormente permitia, custa algo. Um resgate quase sempre apenas adiciona permissão para a exceção acabada de observar, sem abrir mão de mais nada, não custa nada, e um movimento que não custa nada é a assinatura de uma explicação inventada puramente para sobreviver, não uma que de fato foi inferida da evidência.

Contradição é dado, não derrota

Vale a pena enunciar claramente o que decorre de levar Popper a sério aqui: uma hipótese que é falsificada por um experimento bem projetado produziu exatamente o tipo de informação que um experimento bem projetado deveria produzir. O experimento funcionou. A alternativa, uma hipótese que sobrevive a todo teste porque nunca esteve de fato em risco de falhar em nenhum deles, não produziu nenhuma informação, porque "confirmação" era garantida desde o início. Este é o ponto em que o próximo conceito desta disciplina se torna diretamente relevante: uma hipótese falsificada não é um beco sem saída, é a matéria-prima para a próxima pergunta, mais afiada, e tratá-la dessa forma é o que mantém uma investigação se movendo em vez de emperrar em resgate repetido.

Exemplo 1 — uma hipótese de cache que falha, revisada honestamente

Hipótese: "Adicionar um cache read-through na frente do banco de dados vai reduzir a latência mediana de requisição em pelo menos 30%."

Resultado: Depois do deploy, a latência mediana cai apenas 4%, bem abaixo da previsão, e arguivelmente dentro do ruído.

A tentação de resgate: "O cache provavelmente só precisa de mais tempo de aquecimento; em uma semana vai mostrar o benefício completo." Note que essa afirmação não pede nada para ser verificado agora, ela adia o teste indefinidamente e, pior, não fazia parte da hipótese original de forma alguma; foi inventada depois de o número decepcionante aparecer, puramente para explicá-lo.

A revisão honesta: De fato olhar para a taxa de acerto do cache revela que é apenas 12%, muito mais baixa do que assumido, a maioria das requisições é única o suficiente para errar o cache completamente. A hipótese é revisada para: "O cache reduz latência para o subconjunto de requisições que o acertam, mas os ganhos gerais são limitados pela taxa de acerto, que atualmente é limitada pela diversidade de requisição, aumentar a taxa de acerto (por exemplo, via normalização de chave) deveria proporcionalmente aumentar a melhoria de latência." Essa revisão proíbe algo que a original não proibia: agora prevê que a melhoria de latência vai escalar especificamente com a taxa de acerto, uma afirmação que em si pode ser testada variando deliberadamente a taxa de acerto e verificando se a melhoria a acompanha.

Por que isso importa: O resgate ("apenas espere mais") poderia ser repetido indefinidamente sem nunca exigir nova evidência para apoiá-lo. A revisão fez uma nova afirmação falsificável sobre taxa de acerto que poderia ser imediatamente verificada, e, notavelmente, agora é uma hipótese melhor e mais específica do que a que falhou, precisamente porque teve que explicar a falha em vez de encobri-la.

Exemplo 2 — um padrão de resgate ad hoc através de falhas repetidas

Hipótese: "Essa variante de algoritmo de ordenação é mais rápida que a ordenação da biblioteca padrão para nossa carga de trabalho."

Primeiro resultado contraditório: Um benchmark mostra que é mais lenta em uma entrada de 10.000 elementos. Explicação oferecida: "Esse tamanho de entrada é pequeno demais para ver o benefício; precisa de um array maior."

Segundo resultado contraditório: Um benchmark em uma entrada de 10 milhões de elementos também mostra que é mais lenta. Explicação oferecida: "Aquele array provavelmente já estava quase ordenado, o que não é representativo."

Terceiro resultado contraditório: Um benchmark em uma entrada de 10 milhões de elementos embaralhada aleatoriamente ainda mostra que é mais lenta. Explicação oferecida: "A máquina deve ter tido outros processos disputando cache."

Diagnóstico: Cada explicação é individualmente plausível isoladamente, tamanho de array, quase-ordenação, e contenção de máquina são todos efeitos reais em princípio. O que torna esse padrão um resgate ad hoc em vez de solução de problemas legítima é que nenhuma explicação foi jamais verificada, nenhuma nova previsão foi jamais extraída de nenhuma delas ("se contenção de máquina é a causa, então rodar isoladamente deveria reverter o resultado" nunca foi testada), e a hipótese subjacente nunca foi uma única vez enfraquecida, estreitada, ou abandonada apesar de três falhas consecutivas em confirmá-la. Aplicando o teste da Teoria Central: nenhuma dessas três explicações proíbe nada novo, cada uma apenas permite a falha específica acabada de observar enquanto deixa a afirmação original totalmente intacta para a próxima vez. Este é precisamente o sinal de alerta Popperiano: uma hipótese defendida por explicações sucessivas, não testadas, e convenientes em vez de se tornar mais falsificável em resposta à falha.

Como revisão honesta se pareceria em vez disso: Depois da primeira falha, de fato testar a explicação "precisa de um array maior" rerodando com 10 milhões de elementos antes de oferecê-la como uma conclusão real, que é o que aconteceu no segundo item, e falhou. Nesse ponto o movimento disciplinado é aposentar a hipótese "mais rápida para nossa carga de trabalho," ou substituí-la por algo mais estreito e recém-falsificável, como "essa variante é mais rápida apenas para entradas que já estão majoritariamente ordenadas", uma afirmação da segunda explicação (também falsa) que pelo menos agora poderia ser testada diretamente, em vez de reutilizada como uma desculpa não testada uma segunda vez.

• "Um único resultado contraditório deveria fazer você abandonar a hipótese imediatamente." A própria visão de Popper, segundo a Stanford Encyclopedia of Philosophy, era mais moderada que isso: um resultado anômalo único pode em si ser verificado por erro de medição, e solução de problemas legítima da evidência (não da hipótese) é razoável, o problema não é verificar um resultado surpreendente uma vez, é inventar repetidamente novas explicações não testadas puramente para proteger a hipótese toda vez que falha.
• "Qualquer explicação oferecida depois de um teste falhado é automaticamente um resgate ad hoc." A característica distintiva não é o momento mas testabilidade e custo: uma explicação oferecida depois da falha é uma revisão legítima se faz uma nova previsão verificável e abre mão de algo que a hipótese costumava afirmar. Só se torna um resgate ad hoc quando explica a única falha sem mudar nada que possa ser verificado.
• "Revisar uma hipótese depois de ela falhar é intelectualmente desonesto, você está apenas movendo as metas." Isso confunde revisão com resgate. Mover as metas descreve resgate precisamente (redefinir sucesso depois do fato para que a mesma afirmação sempre "vença"); revisão em vez disso enuncia uma afirmação nova e diferente, igualmente exposta, que em si agora poderia falhar em um novo teste. A objeção Popperiana é a afirmações que nunca podem perder, não a afirmações que mudam quando encontram evidência real.
• "Uma hipótese que continua precisando de revisão é uma hipótese ruim." Precisar de revisão depois de contato honesto com evidência é a condição normal de fazer investigação real, é o que iterar de resultado para nova pergunta, coberto a seguir nesta disciplina, de fato se parece na prática. O padrão ruim não é revisão; é resgate que nunca revisa nada de forma alguma.
• "Se a hipótese foi falsificada, o experimento foi um fracasso." O experimento teve sucesso exatamente no trabalho que tinha: distinguir a hipótese de sua alternativa. Um resultado falsificador é evidência, no sentido completo estabelecido no conceito "Coletando e Ponderando Evidência", deveria mudar a confiança e informar a próxima pergunta, não ser tratado como se nada útil tivesse acontecido.

Evidência contraditória não é um problema a ser gerenciado, é o momento em que uma hipótese falsificável faz o trabalho para o qual a falsificabilidade existia. A resposta honesta é revisar a hipótese em algo novo, específico, e em si falsificável, idealmente uma que proíbe algo que a versão antiga não proibia. A alternativa de aparência desonesta mas frequentemente inconsciente é resgatar a hipótese original com uma explicação ad hoc que não custa nada, não prevê nada novo, e deixa a hipótese livre para ser "confirmada" de novo, o próprio sinal diagnóstico de Popper de um padrão deslizando para fora da ciência e para dentro da pseudociência, por mais científica que sua forma original parecesse. O teste prático é simples: a resposta a uma previsão falhada expõe a hipótese a um novo teste mais afiado, ou apenas explica o teste que acabou de falhar? Uma hipótese falsificada, tratada honestamente, é um resultado real, e, como o próximo conceito nesta disciplina desenvolve, é exatamente o material do qual a próxima e melhor pergunta é construída.