Quantificando a Incerteza e a Independência Condicional

• Explicar por que a representação lógica de conhecimento, vista nos quatro conceitos anteriores, é insuficiente para domínios em que a informação do agente é genuinamente incerta, e não apenas incompleta.
• Reapresentar os axiomas de probabilidade e o teorema de Bayes já vistos como matemática pura, agora aplicados às crenças incertas de um agente sobre o mundo.
• Definir independência condicional com precisão e explicar por que ela é a única premissa que torna computacionalmente tratável raciocinar sobre muitas variáveis incertas.
• Distinguir "incerto" (probabilístico) de "desconhecido" (uma lacuna em uma base de conhecimento lógica) como dois tipos diferentes de não saber.
• Explicar, em nível conceitual, por que uma distribuição de probabilidade conjunta completa sobre muitas variáveis é intratável de armazenar ou de usar diretamente em cálculos, o que motiva a representação fatorada vista no próximo conceito.

A lógica (proposicional, depois de primeira ordem, depois aplicada ao planejamento) representa conhecimento como sentenças que são implicadas, refutadas ou simplesmente não tratadas pelo que um agente sabe. Isso funciona bem quando a incerteza do agente é de fato só uma lacuna: ainda não lhe disseram se algum fato vale, mas, quando disserem, o fato será simplesmente verdadeiro ou falso, sem meio-termo. Muitos domínios reais não são assim: um sistema de diagnóstico médico raramente consegue saber com certeza se um paciente tem uma condição específica; ele precisa raciocinar com graus de crença, atualizados conforme a evidência chega, pesando sintomas que, individualmente, são inconclusivos. A lógica, como vista até aqui, não tem um jeito nativo de representar "tenho 80% de confiança de que isto é verdade"; só verdadeiro, falso ou (pela ausência de consequência lógica) simplesmente indeterminado.

A probabilidade é o formalismo a que esta disciplina recorre exatamente para esse outro tipo de não saber, e este conceito revisita (de propósito, não por redundância) os axiomas de probabilidade e o teorema de Bayes já vistos por completo nos fundamentos deste currículo, agora aplicados especificamente às crenças de um agente sobre um mundo que ele não consegue observar por inteiro. O que é genuinamente novo aqui é a independência condicional: a única premissa estrutural, que não era necessária para a probabilidade como matemática pura, que torna computacionalmente viável raciocinar sobre muitas variáveis incertas ao mesmo tempo, em vez de exponencialmente caro; exatamente a ideia em torno da qual as redes bayesianas do próximo conceito são construídas.

Probabilidade, revisitada para as crenças de um agente

Tudo o que já foi visto sobre probabilidade (os axiomas: probabilidades são não negativas, somam 1 sobre todos os resultados e se combinam por inclusão-exclusão em uniões; a probabilidade condicional $P(A \mid B) = P(A \cap B) / P(B)$; e o teorema de Bayes $P(A \mid B) = P(B \mid A) P(A) / P(B)$) se aplica aqui sem nenhuma mudança. O que muda é a interpretação: uma probabilidade como $P(\text{Cavity} = \text{true})$ não é uma afirmação sobre a frequência de longo prazo em muitas tentativas idênticas repetidas, mas uma declaração do grau de crença de um agente sobre uma situação específica e particular, dada a evidência que ele tem no momento. É a mesma matemática, aplicada a um tipo de pergunta sutilmente diferente; exatamente a distinção já traçada, na própria cobertura de probabilidade deste currículo, entre as interpretações frequentista e bayesiana do que uma probabilidade realmente significa.

Independência condicional, definida

Duas variáveis aleatórias $X$ e $Y$ são condicionalmente independentes dada uma terceira variável $Z$ se, uma vez conhecido o valor de $Z$, saber o valor de $X$ não dá nenhuma informação adicional sobre $Y$ (e vice-versa):

text
P(X, Y | Z) = P(X | Z) × P(Y | Z)

ou, de forma equivalente,

text
P(X | Y, Z) = P(X | Z)

É uma condição genuinamente diferente, e em geral mais fraca, que a independência completa (incondicional): duas variáveis podem ser fortemente correlacionadas em geral e, ainda assim, se tornar independentes quando uma informação de contexto compartilhada específica é conhecida.

Por que a independência condicional é a chave da tratabilidade

Uma distribuição de probabilidade conjunta completa sobre $n$ variáveis binárias exige especificar $2^n - 1$ números (toda combinação possível de valores, menos um pela normalização); exatamente a mesma explosão exponencial já vista com as tabelas-verdade da verificação de modelos e com as árvores de jogo do minimax completo. Para qualquer número realista de variáveis (dezenas, quanto mais centenas), armazenar ou calcular diretamente com a distribuição conjunta completa é totalmente inviável. A independência condicional é o que quebra essa dependência exponencial: se a maioria das variáveis de um domínio for condicionalmente independente da maioria das outras, dado um conjunto menor de variáveis diretamente relevantes, a distribuição conjunta pode ser fatorada em um produto de distribuições condicionais muito menores, cada uma envolvendo só um punhado de variáveis, reduzindo armazenamento e cálculo de exponencial em $n$ para algo bem mais administrável. Essa fatoração é exatamente o que o próximo conceito, as redes bayesianas, torna explícito e explorável.

Exemplo 1: independência condicional em um cenário médico concreto

text
Seja Fever = "o paciente tem febre", Cough = "o paciente tem tosse",
    Flu = "o paciente tem gripe".

Em geral, Fever e Cough são correlacionadas: as duas ficam mais prováveis
quando a outra está presente, porque as duas costumam ser causadas pela
mesma condição subjacente (Flu).

MAS: uma vez conhecido o estado de Flu:
  P(Fever | Cough, Flu=true)  ≈ P(Fever | Flu=true)
  P(Fever | Cough, Flu=false) ≈ P(Fever | Flu=false)

Se você já sabe se o paciente tem gripe, saber se ele também tem tosse não
diz praticamente nada a mais sobre se ele tem febre; a correlação entre
Fever e Cough era inteiramente explicada pela causa comum, Flu. Isso é
independência condicional: Fever ⊥ Cough | Flu.

Essa é exatamente a estrutura que as redes bayesianas do próximo conceito são construídas para representar diretamente: uma causa comum (Flu) explica uma correlação observada entre dois efeitos (Fever, Cough), e, uma vez conhecida a causa, os efeitos ficam independentes entre si.

Exemplo 2: por que a distribuição conjunta completa é intratável

text
Domínio: 20 sintomas/condições binários relevantes para um diagnóstico.

Tamanho da distribuição conjunta completa: 2^20 - 1 ≈ 1.048.575 números
  (toda combinação das 20 variáveis presentes ou ausentes).

Se, em vez disso, a maioria dos sintomas for condicionalmente independente
entre si dado um pequeno conjunto de 2 ou 3 condições subjacentes, a
distribuição conjunta se fatora em um conjunto muito menor de tabelas de
probabilidade condicional; a tabela de cada sintoma condicionada só ao
seu pequeno conjunto real de causas diretas, e não às outras 19 variáveis.

O número exponencial bruto (mais de um milhão de entradas para só 20 variáveis) deixa claro de imediato por que nenhum sistema real de diagnóstico ou de raciocínio poderia plausivelmente armazenar, obter de especialistas ou usar em cálculos a distribuição conjunta completa e não fatorada; a independência condicional não é uma simplificação opcional por conveniência, mas o fato estrutural que torna possível o raciocínio probabilístico sobre domínios de tamanho realista.

Exemplo 3: aplicando o teorema de Bayes para atualizar uma crença com nova evidência

Reaproveitando exatamente o enquadramento de teste diagnóstico já trabalhado nos fundamentos de probabilidade deste currículo (um teste com 99% de sensibilidade e 95% de especificidade para uma condição com 1% de prevalência, resultando em cerca de 16,7% de probabilidade a posteriori da condição dado um resultado positivo):

text
P(Condition | Positive) = P(Positive | Condition) × P(Condition) / P(Positive)
                        = 0.99 × 0.01 / (0.99×0.01 + 0.05×0.99)
                        ≈ 0.167

Esse cálculo, já trabalhado por completo em outro ponto deste currículo, é precisamente o tipo de atualização de crença que um agente inteligente precisa fazer continuamente conforme chega nova evidência (resultados de testes, leituras de sensores, sintomas observados), e é exatamente por isso que o teorema de Bayes, e não apenas a probabilidade condicional bruta, é a ferramenta computacional central do raciocínio sob incerteza: ele é o mecanismo para transformar uma nova evidência em um grau de crença atualizado, à luz de um prior conhecido.

• "O raciocínio probabilístico substitui totalmente a lógica quando há incerteza." Lógica e probabilidade respondem perguntas genuinamente diferentes: a lógica determina o que é consequência do que se sabe com certeza; a probabilidade quantifica graus de crença quando a certeza não está disponível. Sistemas reais de IA com frequência combinam as duas, usando uma estrutura parecida com a da lógica (os quatro conceitos anteriores) para representar relações e a probabilidade para quantificar a confiança nos fatos que preenchem essa estrutura, exatamente a combinação que as redes bayesianas do próximo conceito oferecem.
• "Variáveis correlacionadas nunca podem ser independentes, em nenhuma condição." Como mostra o Exemplo 1, duas variáveis podem ser fortemente correlacionadas de forma incondicional e, ainda assim, se tornar totalmente independentes quando se condiciona a uma causa subjacente comum; é exatamente por isso que vale nomear a independência condicional separadamente da independência simples (incondicional).
• "Uma distribuição de probabilidade conjunta completa é só uma tabela maior, sem diferença de natureza em relação a uma pequena." O crescimento exponencial do tamanho da tabela com o número de variáveis (Exemplo 2) é uma diferença de natureza, e não só de grau; é justamente por isso que representações fatoradas que exploram a independência condicional são uma necessidade computacional, e não apenas uma conveniência, em qualquer domínio incerto de tamanho realista.
• "A probabilidade bayesiana como grau de crença e a probabilidade frequentista como frequência de longo prazo são sistemas matemáticos diferentes." As duas interpretações usam exatamente os mesmos axiomas de probabilidade e exatamente o mesmo teorema de Bayes já vistos como matemática pura; elas diferem só no que se entende que uma probabilidade significa, e não em como os números são calculados ou combinados.

Os axiomas de probabilidade e o teorema de Bayes, já vistos por completo como matemática pura, se aplicam sem mudança aos graus de crença de um agente sobre um mundo incerto; a ideia genuinamente nova aqui é a independência condicional, a condição sob a qual saber o valor de uma variável não dá nenhuma informação adicional sobre outra quando uma variável relevante compartilhada é conhecida, a única premissa estrutural que transforma uma distribuição conjunta completa, intratável e exponencialmente grande, em um conjunto de distribuições condicionais pequenas e administráveis. Essa fatoração não é só uma conveniência computacional; é o que torna possível o raciocínio probabilístico sobre domínios de tamanho realista, e é exatamente a estrutura que o próximo conceito, as redes bayesianas, torna explícita como um grafo (um nó por variável, uma aresta por dependência direta) que pode ser construído uma vez e consultado repetidamente conforme nova evidência chega.