Soluções — Revisão Integrada: O Fio Probabilístico das Aulas 1–4

Revisão 1 — Distribuição, Verossimilhança e Risco

Autor

Marcos M. Raimundo — Instituto de Computação, UNICAMP

Aula Exercícios

Teste 1 — Prioris Reais vs. Sintéticas

□ Se a prevalência real de diabetes nesta população fosse de \(0{,}1\%\) em vez de \(35{,}1\%\), o cruzamento das conjuntas (o ponto em que \(\pi_A p(x\mid\mathcal{C}_A) = \pi_B p(x\mid\mathcal{C}_B)\)) se deslocaria ainda mais em direção à cauda da distribuição dos diabéticos, tornando o corte ótimo mais extremo do que o observado com \(35{,}1\%\).
□ Como o cenário sintético mencionado acima usou uma razão de prioris de \(19\) para \(1\) e o Pima Indians Diabetes tem uma razão de aproximadamente \(1{,}86\) para \(1\), conclui-se que o cruzamento das conjuntas no Pima está estruturalmente mais próximo do cruzamento das condicionais do que estava naquele cenário de \(19\) para \(1\).
□ Num problema de detecção de fraude em que apenas \(0{,}5\%\) das transações são fraudulentas, o mesmo argumento do cruzamento de conjuntas (em vez de condicionais) se aplica, mesmo que a variável observada não seja glicose nem tenha suporte em \([0,1]\).
□ Já que a Beta ajustada à classe diabética tem parâmetros \(a=3{,}18,\ b=1{,}78\), diferentes dos parâmetros \(a=3{,}49,\ b=4{,}50\) da Beta ajustada à classe não-diabética, isso por si só garante que as duas curvas nunca se cruzam mais de uma vez no intervalo \([0,1]\).

(Resposta) Teste 1 — Prioris Reais vs. Sintéticas

✔ Verdadeiro — Quanto menor a priori da classe rara, maior a evidência relativa exigida para declará-la — o limiar de razão de verossimilhanças \(\pi_A/\pi_B\) cresce, empurrando o cruzamento das conjuntas cada vez mais para dentro da cauda da classe rara. É a mesma direção do efeito observado ao ir de prioris próximas de \(50/50\) para \(65/35\) e depois para \(95/5\): quanto mais extrema a assimetria, mais extremo o deslocamento.
✔ Verdadeiro — Isto é verificável nos números: no Pima, a distância normalizada entre os dois cruzamentos é de aproximadamente \(0{,}09\) (\(0{,}581 \to 0{,}671\)), contra aproximadamente \(0{,}25\) no cenário sintético de \(95\%/5\%\) (\(0{,}47\to0{,}72\)). Quanto mais perto de \(1\) a razão de prioris, mais perto os dois cruzamentos ficam um do outro — no limite \(\pi_A=\pi_B\), colapsam num só. Não é um item “armadilha”: é a mesma relação entre assimetria de prioris e proximidade dos dois cruzamentos, generalizada para uma razão intermediária.
✔ Verdadeiro — O argumento de ponderar cada densidade condicional pela priori da sua classe não depende da família distribucional nem do suporte da variável — depende só de existirem densidades condicionais e prioris desiguais. A Beta em \([0,1]\) foi só a escolha didática usada nos exemplos acima; o princípio geométrico é o mesmo em qualquer domínio com classes desbalanceadas.
✗ Falso — Parâmetros diferentes não garantem nenhuma contagem específica de cruzamentos — duas densidades contínuas quaisquer podem se cruzar zero, uma, ou várias vezes, dependendo da forma exata de cada curva. O fato de os parâmetros serem diferentes é necessário para que as curvas não sejam idênticas, mas não é suficiente para limitar o número de cruzamentos a um só.

Teste 2 — Beta como Estimador de Densidade

Lembrando: a distribuição \(\text{Beta}(x\mid a,b)\) tem densidade \(\propto x^{a-1}(1-x)^{b-1}\) em \([0,1]\); o MLE de \(a,b\) não tem forma fechada simples e é obtido numericamente (por exemplo, via scipy.stats.beta.fit), usando as estatísticas suficientes \(\sum\ln x_n\) e \(\sum\ln(1-x_n)\) — diferentes da média e variância amostrais usadas no método de momentos.

□ No limite em que \(a=b=1\), a distribuição Beta se reduz à uniforme em \([0,1]\), e o ajuste por máxima verossimilhança deixaria de conseguir distinguir as duas classes por qualquer diferença de forma.
□ Se, em vez de ajustar uma Beta por máxima verossimilhança, alguém decidisse usar a média e o desvio-padrão amostrais para “adivinhar” \(a\) e \(b\) por um método de momentos, o resultado coincidiria exatamente com o obtido por scipy.stats.beta.fit, porque ambos otimizam a mesma função.
□ Na calibração de um classificador (a probabilidade que o modelo atribui à classe prevista, sempre em \([0,1]\)), o mesmo ajuste de Beta por classe (acertos vs. erros do classificador) se aplicaria naturalmente, sem exigir Gaussiana ou outra família com suporte ilimitado.
□ Como a Beta ajustada à classe não-diabética tem \(b_0=4{,}50 > a_0=3{,}49\), conclui-se que essa distribuição é necessariamente simétrica em torno de \(0{,}5\).

(Resposta) Teste 2 — Beta como Estimador de Densidade

✔ Verdadeiro — \(\text{Beta}(1,1)\) é, por definição, a densidade uniforme em \([0,1]\). Se as duas classes convergissem para esse caso, as duas curvas ajustadas seriam idênticas (ambas planas), e nenhuma informação de forma restaria para separar as classes — toda a discriminação teria que vir só das prioris.
✗ Falso — Método de momentos e máxima verossimilhança são estimadores diferentes, que só coincidem por acaso em casos especiais (como a própria Gaussiana). Para a Beta, as estatísticas suficientes do MLE são \(\sum\ln x_n\) e \(\sum\ln(1-x_n)\) — não a média e a variância amostrais — e é exatamente por isso que a Beta não tem MLE em forma fechada via momentos simples: precisa de otimização numérica.
✔ Verdadeiro — A Beta é a família natural para variáveis com suporte fechado em \([0,1]\), precisamente porque respeita esse limite (uma Gaussiana atribuiria probabilidade positiva a valores fora de \([0,1]\), o que não faz sentido para uma proporção). A mecânica de ajuste é idêntica à usada com um escore de glicose normalizado — e a mesma lógica vale para probabilidades de saída de qualquer classificador, não só escores médicos.
✗ Falso — \(\text{Beta}(a,b)\) é simétrica em torno de \(0{,}5\) apenas quando \(a=b\). Aqui \(a_0=3{,}49 \ne b_0=4{,}50\), então a distribuição é assimétrica (levemente deslocada para a esquerda de \(0{,}5\)) — a desigualdade \(b_0>a_0\) não implica simetria alguma, implica exatamente o contrário.

Teste 3 — Erro Tipo I/II e Assimetria de Custos

Fixando “não-diabético” como hipótese nula: erro Tipo I (alarme falso) é declarar diabético quando a verdade é não-diabético; erro Tipo II (escape) é declarar não-diabético quando a verdade é diabético.

□ No limite em que o custo de um escape (diabético não identificado) tende a infinito relativamente ao custo de um alarme falso, o limiar de decisão ótimo se deslocaria para a esquerda, classificando cada vez mais pacientes como diabéticos até declarar quase todos positivos.
□ Se um exame de triagem fosse ajustado para ter exatamente zero alarmes falsos, isso garantiria automaticamente que ele também tem poucos escapes, já que os dois tipos de erro tendem a se mover na mesma direção quando o limiar muda.
□ Num sistema de moderação de conteúdo automatizado que decide entre “remover” e “manter” uma postagem, a mesma lógica de troca entre Erro Tipo I (remover conteúdo legítimo) e Erro Tipo II (manter conteúdo problemático) se aplica, com custos claramente diferentes conforme o contexto da plataforma.
□ Suponha que, no Pima Indians Diabetes, cortar pela densidade conjunta (que pondera pelas prioris) em vez das condicionais (que as ignora) reduza o número total de erros. Ainda assim, conclui-se que esse é o corte certo independentemente de qualquer consideração sobre o custo relativo de alarmes falsos e escapes.

(Resposta) Teste 3 — Erro Tipo I/II e Assimetria de Custos

✔ Verdadeiro — No limiar de custo ponderado (\(C_I\pi_A f_A(t)=C_{II}\pi_B f_B(t)\)), fazer \(C_{II}\to\infty\) força o limiar a se mover para minimizar a área de escape a quase qualquer preço em alarmes falsos — no limite extremo, declarar todo mundo diabético elimina os escapes por completo, ao custo de maximizar os alarmes falsos.
✗ Falso — É exatamente o oposto do compromisso fundamental entre os dois tipos de erro: mover o limiar troca uma área de erro pela outra, nunca reduz as duas juntas. Zero alarmes falsos normalmente exige um limiar extremo que maximiza os escapes, não os minimiza.
✔ Verdadeiro — É a mesma estrutura de custo assimétrico entre dois tipos de erro, só que fora do domínio médico — moderação de conteúdo é um exemplo padrão onde a escolha de limiar reflete uma decisão de negócio/política sobre qual erro custa mais, exatamente como na triagem médica.
✗ Falso — Minimizar a contagem total de erros (perda 0-1) só é a escolha certa quando os dois tipos de erro têm o mesmo custo. Sob custos assimétricos — como o cenário de triagem em que um escape custa muito mais que um alarme falso (ver bloco anterior) — o limiar correto é o ponderado pelo custo, não necessariamente o que minimiza o número bruto de erros.

Teste 4 — Independência Condicional: Preço Variável

□ Se, em vez de dois atributos com baixa correlação intra-classe como Glicose e IMC, fossem usados dois atributos definidos de forma redundante (por exemplo, “IMC em kg/m²” e “IMC em unidades arbitrárias que são o dobro do IMC em kg/m²”), a correlação intra-classe entre eles seria próxima de \(1\), e a suposição de independência do Naive Bayes pagaria um preço bem maior do que quando aplicada a atributos pouco correlacionados.
□ Como o Naive Bayes produziu exatamente a mesma acurácia que a Gaussiana de covariância plena ao usar Glicose e IMC do Pima Indians Diabetes, conclui-se que, para qualquer par de atributos deste dataset, a suposição de independência condicional nunca custaria nada.
□ Num modelo de triagem de spam que assume independência condicional entre a presença das palavras “grátis” e “promoção” dado o rótulo (spam/não-spam), o preço dessa suposição dependeria de quão correlacionadas essas duas palavras realmente são dentro de cada classe — a mesma lógica de custo variável descrita acima, fora do domínio médico.
□ Se duas variáveis fossem independentes tanto na classe A quanto na classe B, mas com médias diferentes entre as classes, a Gaussiana de covariância diagonal (Naive Bayes) ainda poderia separar as duas classes razoavelmente bem, sem qualquer prejuízo vindo da suposição de independência.

(Resposta) Teste 4 — Independência Condicional: Preço Variável

✔ Verdadeiro — Dois atributos redundantes (um sendo função linear exata do outro) têm correlação \(1\); a covariância diagonal ignoraria essa dependência completa, tratando informação duplicada como duas fontes independentes — o pior caso possível para a suposição de independência.
✗ Falso — O resultado vale para o par (Glicose, IMC), que por acaso tem correlação intra-classe baixa. Outros pares de atributos do mesmo dataset (por exemplo, Insulina e Glicose, fisiologicamente ligadas) podem ter correlação bem mais alta e, portanto, um preço de independência bem maior — generalizar de um par para “qualquer par” é o erro de inferência aqui.
✔ Verdadeiro — É a mesma mecânica de qualquer aplicação do Naive Bayes: o preço da independência condicional é proporcional à correlação real ignorada entre os atributos, dentro de cada classe — não uma constante fixa do método.
✔ Verdadeiro — Se a independência condicional é genuína (não uma simplificação, mas um fato dos dados), a covariância diagonal não descarta nenhuma informação real — a separação entre classes vem inteiramente da diferença de médias, que a covariância diagonal captura sem perdas.

Teste 5 — Teoria da Decisão e Risco Posterior

Para um espaço de ações \(\mathcal{A}\) e uma matriz de perda \(L(k,a)\) (custo de tomar a ação \(a\) quando a verdade é a classe \(\mathcal{C}_k\)), o risco posterior de uma ação em \(x\) é \(\rho(a\mid x)=\sum_k L(k,a)\,p(\mathcal{C}_k \mid x)\), e a regra de Bayes minimiza esse risco. O risco de Bayes \(R^\star=\mathbb{E}_X[\min_a \rho(a\mid X)]\) é o menor risco esperado possível, dado o modelo verdadeiro.

□ Se a matriz de perdas \(L(k,a)\) atribuísse custo zero a todo acerto e custo idêntico a qualquer tipo de erro (Tipo I ou Tipo II), o limiar de decisão que minimiza o risco posterior \(\rho(a\mid x)\) coincidiria com o limiar de \(0{,}5\) de probabilidade posterior.
□ Num cenário em que o custo de um escape é dez vezes o custo de um alarme falso, o limiar ótimo de probabilidade posterior para declarar “diabético” seria maior do que \(0{,}5\), tornando mais difícil, não mais fácil, declarar a classe rara.
□ Numa seguradora que decide entre “aceitar apólice” e “recusar apólice” com custos assimétricos entre aceitar um mau pagador e recusar um bom pagador, a mesma estrutura de risco posterior \(\rho(a\mid x)=\sum_k L(k,a)p(\mathcal{C}_k\mid x)\) se aplica, com a mesma lógica de deslocamento de limiar por assimetria de custo.
□ Como o risco de Bayes \(R^\star\) é definido como o valor esperado do risco posterior mínimo sobre a distribuição de \(X\), ele é sempre estritamente positivo, mesmo quando as classes não se sobrepõem em nenhum ponto do espaço de atributos.

(Resposta) Teste 5 — Teoria da Decisão e Risco Posterior

✔ Verdadeiro — Com perda \(0\)-\(1\) simétrica, minimizar o risco posterior se reduz a escolher a classe de maior probabilidade posterior (regra MAP) — no caso binário, isso é exatamente declarar a classe com posteriori \(>0{,}5\).
✗ Falso — É o inverso do resultado correto. O limiar ótimo é \(c_I/(c_I+c_{II})\); com \(c_{II}\) (custo do escape) dez vezes maior que \(c_I\), o limiar cai bem abaixo de \(0{,}5\) — fica mais fácil, não mais difícil, declarar a classe rara, porque o custo de deixar passar um caso positivo é alto.
✔ Verdadeiro — É a mesma formalização de decisão sob risco, com uma matriz de perdas específica do domínio de crédito/seguros no lugar da matriz médica — a estrutura matemática (e o deslocamento de limiar por assimetria) é idêntica.
✗ Falso — Se as densidades condicionais de classe não se sobrepõem em ponto algum, existe uma partição do espaço que classifica tudo corretamente, e o risco posterior mínimo é zero em todo \(x\) — logo \(R^\star=0\), não estritamente positivo. Sobreposição é precisamente a condição que gera erro de Bayes irredutível; sem ela, o erro de Bayes desaparece.

Teste 6 — Naive Bayes: Generativo, Não Discriminativo

□ Se um modelo generativo (como o Naive Bayes Gaussiano) estimar \(p(\mathbf{x}\mid\mathcal{C}_k)\) e \(\pi_k\) corretamente para cada classe, ele automaticamente também é capaz de gerar novos exemplos sintéticos plausíveis de cada classe, amostrando dessas densidades — capacidade que um classificador puramente discriminativo, que só estima \(p(\mathcal{C}_k\mid\mathbf{x})\) diretamente, não tem por construção.
□ Como o Naive Bayes é um modelo generativo, ele necessariamente tem acurácia de classificação igual ou maior do que qualquer modelo discriminativo treinado com os mesmos dados.
□ Num cenário de poucos dados de treino, a estrutura extra imposta por um modelo generativo (como a fatoração de independência do Naive Bayes) pode compensar a falta de dados o suficiente para superar um modelo discriminativo mais flexível mas sem essa estrutura — o mesmo tipo de troca entre “menos flexibilidade, mais parcimônia” e “mais flexibilidade, mais variância” que aparece, por exemplo, ao comparar uma árvore de decisão rasa (poucos splits) com uma árvore bem mais profunda.
□ Se duas classes tiverem exatamente a mesma densidade condicional \(p(\mathbf{x}\mid\mathcal{C}_k)\), mas prioris diferentes, um modelo generativo ainda conseguiria, em princípio, produzir uma fronteira de decisão não trivial entre elas, baseada só na diferença de prioris.

(Resposta) Teste 6 — Naive Bayes: Generativo, Não Discriminativo

✔ Verdadeiro — É a definição operacional de “generativo”: modelar a densidade completa dos dados por classe permite amostrar dela. Um modelo discriminativo nunca modela \(p(\mathbf{x}\mid\mathcal{C}_k)\), só a fronteira/posteriori — não tem de onde amostrar novos \(\mathbf{x}\).
✗ Falso — É o contrário da lição “classifica bem, estima mal” — na prática, modelos discriminativos frequentemente superam modelos generativos em acurácia pura, especialmente quando a suposição distribucional do generativo (aqui, independência condicional) está incorreta. Ser generativo não é uma garantia de superioridade preditiva.
✔ Verdadeiro — É um resultado conhecido na literatura (Ng & Jordan, 2001): modelos generativos com menos parâmetros efetivos podem convergir mais rápido com poucos dados, mesmo perdendo para discriminativos flexíveis quando há dados abundantes — a mesma troca entre parcimônia e flexibilidade que aparece na comparação entre árvores rasas e árvores profundas.
✗ Falso — Se as densidades condicionais são idênticas em todo \(x\), a razão \(p(x\mid\mathcal{C}_A)/p(x\mid\mathcal{C}_B)\) é constante (\(=1\)) em todo o espaço, e a decisão ótima favorece a classe de maior priori em todo ponto, sem variar com \(x\) — não há fronteira alguma (nem trivial nem não trivial): uma única classe domina o espaço inteiro.

Teste 7 — Impureza como Verossimilhança

Para uma folha \(\tau\) de uma árvore de classificação com proporção empírica de classes \(\hat p_\tau\) e entropia \(H(\hat p_\tau)=-\sum_k \hat p_{\tau k}\ln \hat p_{\tau k}\), a log-verossimilhança categórica dos \(N_\tau\) pontos daquela folha é \(\ell_\tau(\hat p_\tau) = -N_\tau H(\hat p_\tau)\) — maximizar essa log-verossimilhança é algebricamente idêntico a minimizar a entropia da folha.

□ Se todas as folhas de uma árvore de classificação tivessem exatamente \(\hat p_{\tau k}=1\) para alguma classe \(k\) e \(0\) para as demais (pureza total), a entropia de cada folha seria zero e a log-verossimilhança do modelo, avaliada nos próprios dados de treino, seria a maior possível (\(0\), já que \(\ln 1=0\)).
□ Como reduzir entropia é equivalente a maximizar a log-verossimilhança categórica (\(\ell_\tau(\hat p_\tau)=-N_\tau H(\hat p_\tau)\)), qualquer split que reduza a entropia ponderada também reduz necessariamente o erro bruto de classificação (proporção de pontos mal classificados pela regra da classe majoritária).
□ Num modelo de regressão logística ajustado por máxima verossimilhança (uma verossimilhança de Bernoulli condicionada linearmente nos atributos, não a categórica de uma folha de árvore), a mesma lógica de “ajustar parâmetros para maximizar a probabilidade dos dados observados” se aplicaria, ainda que a forma funcional da verossimilhança seja diferente.
□ Se duas folhas tivessem o mesmo número de pontos \(N_\tau\) e a mesma proporção majoritária \(\hat p_{\tau,\text{maj}}\), elas teriam necessariamente a mesma entropia e o mesmo índice de Gini, independentemente de qualquer outra diferença entre elas.

(Resposta) Teste 7 — Impureza como Verossimilhança

✔ Verdadeiro — Pureza total dá \(H(\hat p_\tau)=0\) e, pela identidade \(\ell_\tau(\hat p_\tau)=-N_\tau H(\hat p_\tau)\), log-verossimilhança \(=0\) — o máximo teórico, já que \(\ln(\text{probabilidade})\le 0\) sempre, com igualdade só quando a probabilidade prevista para a classe verdadeira de cada ponto é exatamente \(1\).
✗ Falso — É exatamente o que um contraexemplo deliberado mostra: dois splits podem ter o mesmo erro bruto (\(0{,}25\) em ambos) mas ganhos de informação bem diferentes (\(0{,}216\) contra \(0{,}131\) nats). A equivalência é entre impureza (entropia/Gini) e verossimilhança — não entre impureza e erro bruto de classificação, que são medidas distintas e podem discordar.
✔ Verdadeiro — MLE é um princípio geral, não exclusivo de árvores — regressão logística maximiza uma verossimilhança de Bernoulli condicionada linearmente nos atributos; a forma funcional muda, o princípio de ajuste (maximizar a probabilidade dos dados observados) não.
✗ Falso — No caso binário (como diabético/não-diabético), a afirmação seria verdadeira, porque \(H(p)=H(1-p)\) e \(\text{Gini}(p)=\text{Gini}(1-p)\) são funções simétricas em torno de \(0{,}5\) e dependem só de \(p_{\text{maj}}\). Mas a afirmação foi escrita sem restringir a \(K=2\) classes — com \(K>2\), duas folhas podem ter a mesma proporção majoritária e distribuir o restante da massa entre as classes minoritárias de formas muito diferentes (concentrada numa só, ou espalhada por várias), produzindo entropias e Ginis diferentes. A generalização de um fato binário para qualquer \(K\) é o erro aqui.

Teste 8 — Miopia Gulosa e Interações

□ Se dois atributos só forem informativos em combinação (por exemplo, “Glicose alta E IMC alto” prediz diabetes, mas nenhum dos dois isoladamente prediz bem), um algoritmo guloso de árvore — que escolhe a cada passo o corte de maior redução de impureza olhando uma variável de cada vez — pode demorar mais splits, ou nunca, para capturar essa interação, comparado a um cenário em que cada atributo já é informativo isoladamente.
□ Suponha que uma árvore de decisão treinada numa base de pacientes encontrou, na raiz, um split com ganho de informação positivo. Isso garante que esse mesmo split apareceria na raiz de qualquer árvore treinada com um subconjunto diferente, mas ainda representativo, dos mesmos pacientes.
□ Num algoritmo de busca de rotas que escolhe, a cada cruzamento, a rua que parece mais rápida sem simular o trajeto completo até o destino, a mesma limitação de miopia gulosa das árvores de decisão se aplica — a melhor escolha local não garante a melhor rota global.
□ Se a árvore permitisse profundidade ilimitada (uma folha por paciente), a miopia gulosa deixaria de ser um problema, porque toda combinação de atributos relevante acabaria sendo capturada em algum nível suficientemente profundo da árvore.

(Resposta) Teste 8 — Miopia Gulosa e Interações

✔ Verdadeiro — É a assinatura clássica da miopia gulosa (padrão tipo XOR): como o algoritmo escolhe o melhor split imediato por variável isolada, uma interação que só aparece na combinação de duas variáveis pode não gerar ganho de informação suficiente em nenhum split individual para ser escolhida — o algoritmo pode nunca “ver” a interação.
✗ Falso — É a instabilidade estrutural típica de árvores de decisão: um split ótimo numa amostra específica pode depender sensivelmente de poucos pontos — remover mesmo uma pequena fração deles (por exemplo, cerca de \(1\%\) de uma amostra de algumas centenas de pacientes) já pode deslocar visivelmente o limiar escolhido na raiz. Um split “ótimo” numa amostra não vem com garantia de estabilidade sob reamostragem, mesmo que a amostra alternativa seja igualmente representativa.
✔ Verdadeiro — É a mesma estrutura algorítmica (decisão gulosa local sem simulação do resultado futuro completo), fora do domínio de árvores — a analogia captura corretamente por que otimalidade local não implica otimalidade global em qualquer busca gulosa.
✗ Falso — Profundidade ilimitada resolve um problema diferente (capacidade/memorização, levando a overfitting) — não resolve a miopia, que é sobre a ordem e o critério de escolha de cada split, não sobre quantos splits são permitidos. Uma árvore muito profunda ainda pode ter sido guiada por escolhas gulosas subótimas nos primeiros níveis, só que agora também memoriza ruído.

Teste 9 — Splits Alinhados aos Eixos vs. Elipses

□ Se a fronteira de decisão verdadeira entre duas classes fosse exatamente uma reta na diagonal do espaço de atributos (não paralela a nenhum eixo), uma árvore de decisão (que só corta perpendicularmente aos eixos) precisaria, em geral, de mais splits para aproximá-la do que uma Gaussiana com covariância plena adequadamente ajustada.
□ Suponha que uma árvore de decisão e uma Gaussiana de covariância plena sejam ajustadas exatamente aos mesmos dois atributos de um dataset (por exemplo, Glicose e IMC). Como os dois modelos usam exatamente as mesmas variáveis de entrada, suas fronteiras de decisão são necessariamente muito parecidas visualmente, independentemente da forma funcional de cada modelo.
□ Num problema de visão computacional em que a fronteira de decisão relevante depende de uma combinação linear de pixels vizinhos (não alinhada aos eixos originais da imagem), a mesma limitação estrutural das árvores axis-aligned se aplicaria, favorecendo modelos capazes de fronteiras oblíquas.
□ Se um conjunto de dados tiver uma fronteira de decisão verdadeiramente alinhada aos eixos (por exemplo, “diabético se, e somente se, Glicose \(>140\)”), a árvore de decisão deveria, em geral, precisar de menos splits para representá-la do que uma Gaussiana de covariância plena precisaria de parâmetros ajustados para aproximá-la bem.

(Resposta) Teste 9 — Splits Alinhados aos Eixos vs. Elipses

✔ Verdadeiro — É uma limitação estrutural conhecida: splits axis-aligned só conseguem aproximar uma fronteira diagonal por uma escada de cortes perpendiculares aos eixos, exigindo cada vez mais splits para reduzir o erro de aproximação, enquanto uma Gaussiana de covariância plena (equivalente a uma fronteira linear inclinada, no caso LDA) representa a diagonal exatamente com uma única fronteira.
✗ Falso — Usar os mesmos atributos não implica fronteiras parecidas — a forma funcional de cada modelo (degraus axis-aligned da árvore vs. elipse/linha inclinada da Gaussiana) determina o formato da fronteira de decisão, não apenas quais variáveis entram nela.
✔ Verdadeiro — A limitação de fronteiras axis-aligned é sobre a geometria da partição, não sobre o domínio específico — qualquer fronteira que dependa de combinações lineares de atributos originais (pixels, aqui) sofre da mesma ineficiência de aproximação por uma árvore de decisão.
✔ Verdadeiro — É o complemento exato do item (a): quando a fronteira verdadeira já é um corte reto perpendicular a um eixo, um único split da árvore a representa exatamente, enquanto uma Gaussiana precisaria aproximar esse “degrau” abrupto com uma superfície suave, tipicamente com mais erro residual ou exigindo covariâncias artificiais para se aproximar do corte reto.

Teste 10 — Erro de Treino e Validação

□ Se uma árvore de decisão ajustada a um dataset de diagnóstico médico tivesse sido avaliada apenas nos dados de treino usados para ajustá-la, e essa acurácia de treino fosse de \(77{,}4\%\), esse número seria uma estimativa otimista do desempenho esperado em pacientes novos, mesmo sem qualquer intenção de enganar.
□ Suponha que essa mesma árvore, avaliada num conjunto de teste separado, tenha acurácia de \(75{,}2\%\) — um gap de \(2{,}2\) pontos percentuais abaixo da acurácia de treino (\(77{,}4\%\)). Esse gap garante, por si só, que o modelo está sofrendo de overfitting severo, no mesmo grau que uma árvore deliberadamente sobreajustada (por exemplo, uma árvore sem limite de profundidade, ajustada até memorizar \(100\%\) do conjunto de treino).
□ Num sistema de aprovação de crédito treinado com dados históricos e nunca reavaliado com clientes novos, o mesmo viés otimista do erro de treino se aplicaria à métrica interna de acurácia usada pela equipe de desenvolvimento.
□ Se um modelo tivesse acurácia de treino e de teste exatamente iguais, isso provaria que o modelo generaliza perfeitamente para qualquer paciente futuro, não só para os presentes no conjunto de teste usado.

(Resposta) Teste 10 — Erro de Treino e Validação

✔ Verdadeiro — É um resultado central de teoria de generalização: \(\hat R(\theta)\) é enviesado para baixo (otimista) sempre que \(\theta\) foi escolhido observando os mesmos dados usados para calcular \(\hat R\) — não é uma questão de intenção, é uma consequência estrutural do procedimento de ajuste.
✗ Falso — Um gap de \(2{,}2\) pontos percentuais é uma diferença modesta, típica de generalização normal — muito distante do padrão de overfitting severo de uma árvore sem limite de profundidade, que tipicamente atinge (ou quase atinge) \(100\%\) de acurácia de treino por memorizar os próprios dados. A mera existência de um gap não determina sua severidade; magnitude importa.
✔ Verdadeiro — O viés do erro de treino é uma propriedade do procedimento de medição (medir no mesmo dado que ajustou o modelo), não do domínio médico — aplica-se a qualquer sistema preditivo avaliado só nos dados de treino, incluindo crédito.
✗ Falso — O conjunto de teste é, ele mesmo, uma amostra finita com variabilidade amostral própria — igualdade entre treino e teste numa amostra específica não elimina a incerteza sobre o risco esperado populacional \(R(\theta)\), exatamente o motivo pelo qual técnicas como validação cruzada e Bootstrap existem: para quantificar essa incerteza remanescente, não para eliminá-la com um único número coincidente.

Teste 11 — Duas Perguntas do Bootstrap

Considere duas formas de aplicar o Bootstrap à árvore de decisão ajustada ao Pima Indians Diabetes, cuja acurácia num conjunto de teste fixo é \(75{,}2\%\): (i) reamostrar com reposição as previsões já feitas nesse teste fixo, sem retreinar nada, o que produziu um intervalo de confiança de \([69{,}0\%,81{,}0\%]\); (ii) reamostrar com reposição o conjunto de treino e reajustar a árvore em cada reamostra, medindo a acurácia sempre no mesmo teste fixo, o que produziu um intervalo de \([69{,}2\%,77{,}9\%]\).

□ Se o objetivo fosse responder “quão confiável é a acurácia de \(75{,}2\%\) medida no meu conjunto de teste fixo, sem retreinar nada”, a técnica correta seria a aplicação (i) — reamostrar as previsões do teste com reposição —, não a aplicação (ii).
□ Como as duas aplicações do Bootstrap descritas acima produziram intervalos de confiança parcialmente sobrepostos, conclui-se que elas estão, na prática, respondendo à mesma pergunta estatística.
□ Numa pesquisa médica que quer saber não só “qual é a acurácia deste modelo específico” mas “quão instável é o processo de treinar este tipo de modelo nesta população”, a aplicação (ii) — reamostrar e reajustar o conjunto de treino — é a técnica mais adequada, não a aplicação (i).
□ Se o intervalo de confiança do Bootstrap para uma estatística for muito largo, isso significa necessariamente que o código do Bootstrap tem um erro de implementação, já que reamostragem com reposição deveria sempre produzir intervalos estreitos.

(Resposta) Teste 11 — Duas Perguntas do Bootstrap

✔ Verdadeiro — É exatamente a aplicação (i) descrita acima: fixar o modelo e reamostrar as previsões do teste mede a incerteza de medição daquele número específico, sem envolver o processo de ajuste.
✗ Falso — Sobreposição numérica de intervalos não implica identidade conceitual das perguntas — uma mede incerteza de medição de uma acurácia fixa, a outra mede instabilidade do procedimento de ajuste em si. Podem coincidir numericamente numa amostra específica e ainda serem, estruturalmente, respostas a perguntas diferentes.
✔ Verdadeiro — É exatamente a aplicação (ii) descrita acima — reamostrar e reajustar o treino simula “o que aconteceria se treinássemos de novo com uma amostra ligeiramente diferente da mesma população”, exatamente a pergunta sobre instabilidade do procedimento, não sobre um modelo já fixo.
✗ Falso — Um intervalo largo é frequentemente um resultado legítimo — reflete alta variância amostral genuína (amostra pequena, estatística instável), não um bug. Reamostragem com reposição não tem nenhuma garantia embutida de produzir intervalos estreitos; ela estima a variabilidade real, seja ela pequena ou grande.

Teste 12 — Vazamento de Dados e Relato Honesto

□ No limite em que a normalização de atributos (subtrair a média, dividir pelo desvio-padrão) for calculada usando a amostra inteira antes do split de validação cruzada, em vez de dentro de cada fold, a estimativa de erro produzida se aproxima da estimativa otimista do erro de treino, mesmo que nenhum rótulo seja usado diretamente nesse cálculo.
□ Um experimento clássico de vazamento de dados (descrito no livro Elements of Statistical Learning) usa rótulos artificialmente aleatórios — atribuídos sem qualquer relação real com os atributos — só para tornar o efeito de vazamento visível com clareza didática, já que qualquer “sinal” detectado nesse cenário é necessariamente um artefato do vazamento. Conclui-se que esse tipo de vazamento não ocorre em datasets reais, onde o rótulo tem relação genuína com os atributos.
□ Numa competição de previsão de preços de imóveis em que os participantes normalizam os atributos usando toda a base disponível antes de fazer sua própria validação cruzada interna, o mesmo mecanismo de vazamento de informação se aplica, mesmo fora do domínio médico.
□ Reportar somente a média da acurácia de validação cruzada, sem o desvio-padrão, produz um número tecnicamente correto (a média está certa), então essa prática não constitui um problema de honestidade estatística — é apenas uma escolha de estilo de relatório, sem custo prático.

(Resposta) Teste 12 — Vazamento de Dados e Relato Honesto

✔ Verdadeiro — Vazamento não exige uso direto dos rótulos — qualquer transformação (mesmo não supervisionada, como normalização) calculada com dados que incluem o fold de validação deixa esse fold “contaminado” por informação que deveria ser invisível, aproximando o resultado do otimismo do erro de treino.
✗ Falso — O uso de rótulos aleatórios é um recurso didático para isolar e exagerar o efeito (tornando visível que o “sinal” detectado é puro artefato do vazamento), mas o mecanismo do vazamento — selecionar ou transformar atributos usando dados que depois entram no fold de validação — ocorre igualmente em datasets com relação real entre rótulo e atributos; ele infla a estimativa de desempenho de qualquer forma, só que de um jeito mais difícil de perceber quando já existe sinal genuíno.
✔ Verdadeiro — O mecanismo de vazamento (transformação aprendida fora do fold, aplicada dentro dele) não depende do domínio — aplica-se a qualquer pipeline de validação cruzada em que uma etapa de pré-processamento “vê” dados que deveriam estar isolados em cada fold.
✗ Falso — Omitir o desvio-padrão é um problema real, não estilístico: esconde a incerteza da estimativa, dando uma falsa sensação de precisão — o número da média pode estar “correto” e ainda assim induzir uma decisão errada (por exemplo, preferir um modelo cuja média é ligeiramente maior, mas cuja variabilidade também é bem maior).