05 · Indépendance et formule de Bayes¶
Intuition
Deux notions inverses l'une de l'autre.
L'indépendance dit que savoir \(B\) n'apprend rien sur \(A\) : la probabilité de \(A\) ne bouge pas. C'est ce qui permet de multiplier.
La formule de Bayes traite le cas contraire : savoir \(B\) change la probabilité de \(A\), et elle dit exactement de combien. C'est la formule qui retourne un conditionnement — de \(P(\text{effet}\mid\text{cause})\), qu'on mesure, vers \(P(\text{cause}\mid\text{effet})\), qui nous intéresse.
C'est le chapitre le plus rentable du module, et celui dont les conclusions sont les plus contre-intuitives.
1. Indépendance¶
Définition
Deux événements \(A\) et \(B\) sont indépendants si
Formulation équivalente (si \(P(B)>0\)) :
« Savoir que \(B\) s'est produit ne change rien à la probabilité de \(A\). »
Indépendant ≠ incompatible
Ce sont des notions opposées.
- Incompatibles : \(A\cap B=\varnothing\), donc \(P(A\cap B)=0\). Savoir que \(B\) s'est produit rend \(A\) impossible — c'est une dépendance maximale.
- Indépendants : \(P(A\cap B) = P(A)P(B)\).
Deux événements de probabilités non nulles ne peuvent pas être les deux à la fois : si \(A\cap B=\varnothing\) et \(P(A)P(B)>0\), alors \(0 = P(A)P(B) > 0\), absurde.
Propriété héréditaire
Si \(A\) et \(B\) sont indépendants, alors le sont aussi : \((A,\overline B)\), \((\overline A,B)\) et \((\overline A,\overline B)\).
Démonstration pour \((A,\overline B)\)
\(\blacksquare\)
1.1 Indépendance mutuelle¶
Définition
\(n\) événements sont mutuellement indépendants si pour toute sous-famille \(\{i_1,\dots,i_k\}\) :
Deux à deux n'implique PAS mutuellement
Il faut vérifier toutes les sous-familles, pas seulement les paires.
Contre-exemple canonique. On lance deux pièces. Soit :
- \(A\) : « la première donne pile » ;
- \(B\) : « la seconde donne pile » ;
- \(C\) : « les deux donnent le même résultat ».
Chaque paire est indépendante (\(P = \frac14 = \frac12\times\frac12\) dans les trois cas). Mais
Les trois ne sont pas mutuellement indépendants — et c'est logique : \(C\) est entièrement déterminé par \(A\) et \(B\).
Usage principal : pour \(n\) événements mutuellement indépendants,
C'est la formule à sortir dès qu'un énoncé dit « indépendamment » et « au moins un ».
2. Formule de Bayes¶
Formule de Bayes
Pour \(P(A)>0\) et \(P(B)>0\) :
Et si \((A_1,\dots,A_n)\) est un système complet, en développant le dénominateur par les probabilités totales :
Démonstration : \(P(A\cap B)\) s'écrit de deux façons, \(P(A\mid B)P(B)\) et \(P(B\mid A)P(A)\). On égale et on divise. \(\blacksquare\)
2.1 Le vocabulaire¶
| Terme | Nom | Signification |
|---|---|---|
| \(P(A_i)\) | Probabilité a priori | Ce qu'on croyait avant |
| \(P(B\mid A_i)\) | Vraisemblance | Ce que le modèle prédit |
| \(P(B)\) | Évidence | Normalisation |
| \(P(A_i\mid B)\) | Probabilité a posteriori | Ce qu'on croit après |
Bayes = mise à jour d'une croyance
L'observation ne remplace pas la croyance initiale : elle la pondère. C'est pourquoi un a priori très faible résiste à une preuve moyennement convaincante — le mécanisme du paradoxe du test médical.
2.2 La méthode¶
Le protocole en quatre points
- Nommer les événements et identifier le système complet des « causes ».
- Extraire de l'énoncé les \(P(A_i)\) (a priori) et les \(P(B\mid A_i)\) (vraisemblances).
- Calculer \(P(B)\) par les probabilités totales — c'est le dénominateur.
- Appliquer Bayes.
Un arbre rend l'étape 3 mécanique : on additionne les chemins menant à \(B\).
3. Le paradoxe du test médical¶
C'est l'application la plus importante, et la plus mal comprise.
L'exemple complet
Une maladie touche 1 personne sur 1000. Un test détecte 99 % des malades (sensibilité) et donne 2 % de faux positifs.
Votre test est positif. Êtes-vous malade ?
Notons \(M\) « malade », \(T^+\) « test positif ».
Probabilités totales.
Bayes.
Moins de 5 % de chances d'être malade, malgré un test « fiable à 99 % ».
Pourquoi c'est si contre-intuitif
Sur 100 000 personnes testées :
- 100 malades, dont 99 testés positifs ;
- 99 900 sains, dont \(0{,}02\times99\,900 = 1998\) testés positifs.
Total des positifs : \(99+1998 = 2097\), dont seulement 99 sont réellement malades.
Les faux positifs écrasent les vrais, parce que la population saine est mille fois plus nombreuse. Ce n'est pas le test qui est mauvais : c'est la prévalence qui est faible.
L'effet du dépistage ciblé
Si l'on ne teste que des personnes à risque, chez qui la prévalence est de 10 % au lieu de 0,1 % :
85 % au lieu de 5 %. Le même test, appliqué à une population différente, devient utile.
C'est l'argument mathématique contre le dépistage de masse des maladies rares — et l'argument pour le dépistage ciblé.
Exemples traités¶
Exemple 1 — Tester l'indépendance
On tire une carte dans un jeu de 32. \(A\) : « c'est un roi », \(B\) : « c'est un cœur ». Sont-ils indépendants ?
\(P(A) = \frac{4}{32}=\frac18\), \(P(B)=\frac{8}{32}=\frac14\), \(P(A\cap B) = \frac{1}{32}\) (le roi de cœur).
Indépendants ✓
Pourquoi c'est naturel
Dans un jeu complet, chaque couleur contient exactement le même nombre de rois. Connaître la couleur n'informe donc pas sur la valeur. Si l'on retirait une carte du jeu, l'indépendance disparaîtrait.
Exemple 2 — Au moins un succès
Un serveur a une probabilité \(0{,}01\) de tomber en panne un jour donné, indépendamment des autres jours. Probabilité qu'il tombe en panne au moins une fois en 30 jours ?
26 % — bien plus que les 1 % quotidiens ne le suggèrent.
Sur un an : \(1-0{,}99^{365}\approx0{,}9745\), soit 97 %.
Exemple 3 — Bayes sur les machines
Reprenons l'usine du chapitre précédent : chaînes A (50 %, 2 % de défaut), B (30 %, 3 %), C (20 %, 5 %).
Une pièce est défectueuse. De quelle chaîne vient-elle le plus probablement ?
On avait \(P(D) = 0{,}029\).
Contrôle : la somme vaut 1 ✓
Lecture. A et C sont à égalité, alors que C produit deux fois et demie plus de défauts. La raison est le volume : A produit 2,5 fois plus de pièces.
C'est exactement le mécanisme de Bayes : la vraisemblance élevée de C est compensée par son a priori faible.
Exemple 4 — Deux tests successifs
Reprenons le test médical (\(P(M)=0{,}001\), sensibilité 99 %, faux positifs 2 %). Après un premier test positif, on refait le test — indépendamment du premier, conditionnellement à l'état de santé.
Le premier test a fait passer la croyance de \(0{,}001\) à \(0{,}0472\). C'est ce nombre qui devient le nouvel a priori.
71 %. Deux tests positifs successifs font passer de 5 % à 71 %.
Bayes se compose
L'a posteriori d'une étape devient l'a priori de la suivante. C'est ce qui rend la formule utilisable en apprentissage séquentiel : chaque nouvelle donnée met à jour la croyance courante, sans qu'il faille recalculer depuis le début.
C'est le principe des filtres bayésiens, du filtre de Kalman, et des filtres anti-spam.
Erreurs fréquentes¶
| Erreur | Correction |
|---|---|
| Confondre indépendant et incompatible | Notions opposées |
| Deux à deux \(\implies\) mutuellement | Faux |
| \(P(M\mid T^+) = P(T^+\mid M)\) | Erreur du procureur |
| Oublier le dénominateur de Bayes | C'est \(P(B)\), calculé par les totales |
| Ignorer la prévalence | C'est elle qui domine pour les maladies rares |
| Supposer l'indépendance sans justification | L'énoncé doit la donner |
Exercices¶
★ Exercice 1. \(P(A)=0{,}3\), \(P(B)=0{,}5\). Calculer \(P(A\cup B)\) si :
a) \(A\) et \(B\) sont indépendants b) \(A\) et \(B\) sont incompatibles
★ Exercice 2. Trois machines fonctionnent indépendamment, avec des probabilités de panne \(0{,}1\), \(0{,}2\), \(0{,}15\).
a) Probabilité qu'aucune ne tombe en panne. b) Probabilité qu'au moins une tombe en panne. c) Probabilité que la première seule tombe en panne.
★★ Exercice 3. On lance deux dés. Les événements suivants sont-ils indépendants ?
a) \(A\) : « le premier dé donne 6 » et \(B\) : « la somme vaut 7 » b) \(A\) : « le premier dé donne 6 » et \(C\) : « la somme vaut 8 » c) Commenter la différence.
★★ Exercice 4. Une urne contient 3 boules blanches et 2 noires. Deux tirages avec remise.
a) Montrer que les deux tirages sont indépendants. b) Probabilité d'obtenir 2 blanches. c) Reprendre sans remise : les tirages sont-ils encore indépendants ?
★★ Exercice 5. Un email est un spam avec probabilité \(0{,}4\). Le mot « gratuit » apparaît dans 30 % des spams et 2 % des messages légitimes.
Un message contient « gratuit ». Probabilité que ce soit un spam ?
★★★ Exercice 6. Reprendre le test médical avec une prévalence \(\pi\) variable, une sensibilité de 99 % et 2 % de faux positifs.
a) Exprimer \(P(M\mid T^+)\) en fonction de \(\pi\). b) Pour quelle prévalence a-t-on \(P(M\mid T^+) = \frac12\) ? c) Tracer l'allure de la fonction et commenter.
★★★ Exercice 7. Trois urnes : \(U_1\) (2 rouges, 3 bleues), \(U_2\) (4 rouges, 1 bleue), \(U_3\) (3 rouges, 2 bleues). On choisit une urne au hasard et on tire une boule.
a) Probabilité qu'elle soit rouge. b) Elle est rouge : probabilité que ce soit \(U_2\) ? c) Comparer avec \(P(U_2) = \frac13\) et commenter.
★★★ Exercice 8. On considère \(n\) événements mutuellement indépendants de même probabilité \(p\).
a) Exprimer \(P(\text{exactement }k\text{ se réalisent})\). b) Vérifier que la somme sur \(k\) vaut 1. c) À quelle loi cela correspond-il ?
★★★★ Exercice 9. Un filtre anti-spam naïf bayésien examine \(n\) mots indépendants (conditionnellement à la classe). Soit \(p_i = P(m_i\mid\text{spam})\) et \(q_i = P(m_i\mid\text{légitime})\).
a) Écrire \(P(\text{spam}\mid m_1,\dots,m_n)\). b) Montrer que la décision se ramène à comparer une somme de logarithmes à un seuil. c) Pourquoi travaille-t-on en logarithmes en pratique ? d) L'hypothèse d'indépendance des mots est manifestement fausse (« New » et « York »). Pourquoi le filtre fonctionne-t-il quand même ?
★★★★ Exercice 10 — lien informatique. Le test de Miller-Rabin déclare un nombre composé avec certitude, mais « probablement premier » avec une probabilité d'erreur \(\leqslant\frac14\) par tirage.
a) Après \(k\) tirages tous positifs, quelle est la probabilité que \(n\) soit composé, si l'on suppose un a priori uniforme ? b) En réalité, la densité des nombres premiers autour de \(N\) est \(\frac{1}{\ln N}\). Utiliser Bayes pour calculer \(P(\text{composé}\mid k \text{ tests positifs})\) pour \(N = 2^{1024}\) et \(k=40\). c) Comparer à la probabilité d'une erreur matérielle non détectée. d) Conclure sur le nombre de tours à utiliser en pratique.
Corrigés¶
Corrigé — Exercice 1
a) \(P(A\cap B) = 0{,}3\times0{,}5 = 0{,}15\).
b) \(P(A\cap B)=0\).
Corrigé — Exercice 2
a) \(0{,}9\times0{,}8\times0{,}85 = 0{,}612\).
b) \(1-0{,}612 = 0{,}388\).
c) \(0{,}1\times0{,}8\times0{,}85 = 0{,}068\).
Corrigé — Exercice 3
\(\operatorname{Card}\Omega = 36\). \(P(A) = \frac{6}{36} = \frac16\).
a) \(P(B) = \frac{6}{36}=\frac16\) (somme 7 : 6 couples). \(A\cap B = \{(6,1)\}\), donc \(P(A\cap B)=\frac1{36}\).
Indépendants.
b) Somme 8 : \((2,6),(3,5),(4,4),(5,3),(6,2)\) — 5 couples, donc \(P(C) = \frac{5}{36}\). \(A\cap C = \{(6,2)\}\), \(P = \frac1{36}\).
Non indépendants.
c) La différence tient à la symétrie. La somme 7 est la seule qui soit réalisable avec chacune des six valeurs du premier dé, et une seule fois : connaître le premier dé n'informe donc pas sur la réalisation de \(B\).
Pour la somme 8, le premier dé doit valoir au moins 2 : savoir qu'il vaut 6 rend \(C\) plus probable (\(\frac16\) contre \(\frac{5}{36}\)).
Corrigé — Exercice 4
a) Avec remise. L'urne est identique au second tirage : \(P(B_2\mid B_1) = \frac35 = P(B_2)\). Indépendants ✓
Formellement, \(P(B_1\cap B_2) = \frac35\times\frac35 = \frac9{25}\), et \(P(B_1)P(B_2) = \frac9{25}\) ✓
b) \(\left(\frac35\right)^2 = \frac{9}{25} = 0{,}36\).
c) Sans remise.
Non indépendants. Et \(P(B_1\cap B_2) = \frac35\times\frac24 = \frac{6}{20} = 0{,}3 \neq 0{,}36\).
Remarque sur \(P(B_2)\)
Sans remise, \(P(B_2) = \frac35\) quand même — par les probabilités totales : \(\frac35\cdot\frac24+\frac25\cdot\frac34 = \frac{6+6}{20} = \frac35\) ✓
La deuxième boule a la même probabilité d'être blanche que la première, mais les deux ne sont pas indépendantes. C'est une distinction subtile et importante.
Corrigé — Exercice 5
\(S\) : spam, \(G\) : contient « gratuit ». \(P(S)=0{,}4\), \(P(G\mid S)=0{,}30\), \(P(G\mid\overline S)=0{,}02\).
90,9 %. Le mot « gratuit » fait passer la probabilité de spam de 40 % à 91 %.
Corrigé — Exercice 6
a)
b) On résout \(\frac{0{,}99\pi}{0{,}02+0{,}97\pi} = \frac12\) :
Il faut une prévalence d'environ 2 % pour qu'un test positif signifie « une chance sur deux ».
Ce n'est pas un hasard : \(2\%\) est exactement le taux de faux positifs. Dès que la prévalence descend en dessous du taux de faux positifs, les faux positifs deviennent majoritaires.
c) Allure.
| \(\pi\) | \(P(M\mid T^+)\) |
|---|---|
| 0,0001 | 0,0049 |
| 0,001 | 0,0472 |
| 0,01 | 0,3333 |
| 0,02 | 0,5025 |
| 0,10 | 0,8462 |
| 0,50 | 0,9802 |
La fonction est croissante, concave, partant de 0 et tendant vers 1. Elle croît très vite au début : c'est une homographie, du type étudié au chapitre Analyse 01.
Commentaire. La valeur informative d'un test dépend entièrement de la population testée. Le même test est presque inutile en dépistage de masse d'une maladie rare, et excellent sur une population à risque.
Corrigé — Exercice 7
a) \(P(U_i) = \frac13\) pour chaque urne.
b)
c) L'a priori était \(\frac13\approx0{,}333\) ; l'a posteriori vaut \(\frac49\approx0{,}444\).
Observer une rouge augmente la probabilité que ce soit \(U_2\), car c'est l'urne la plus riche en rouges. L'ampleur de la révision est modeste — d'un tiers à quatre neuvièmes — parce que les trois urnes ne sont pas si différentes.
Contrôle : \(P(U_1\mid R) = \frac29\), \(P(U_3\mid R)=\frac39\), et \(\frac29+\frac49+\frac39 = 1\) ✓
Corrigé — Exercice 8
a) Choisir quels \(k\) événements se réalisent : \(\binom nk\) façons. Pour chacune, la probabilité est \(p^k(1-p)^{n-k}\) par indépendance mutuelle.
b) Par le binôme de Newton :
c) C'est la loi binomiale \(\mathcal{B}(n,p)\), étudiée au chapitre 07.
Ce que cet exercice établit
La loi binomiale n'est pas une définition arbitraire : elle découle de l'indépendance mutuelle et du dénombrement. C'est la loi du nombre de succès dans une répétition d'épreuves identiques et indépendantes.
Corrigé — Exercice 9
a) Par Bayes avec l'hypothèse d'indépendance conditionnelle :
b) On décide « spam » si \(P(S\mid\cdot) > \frac12\), ce qui équivaut à
En divisant et en prenant le logarithme (fonction strictement croissante, donc l'inégalité est préservée) :
La décision est un test de somme pondérée : chaque mot apporte un « score » \(\ln\frac{p_i}{q_i}\), positif s'il est indicatif de spam, négatif sinon. On compare le total à un seuil.
c) Pourquoi les logarithmes. Deux raisons.
- Sous-dépassement numérique. Un produit de 200 probabilités de l'ordre de \(10^{-3}\) vaut \(10^{-600}\), ce qui est strictement zéro en double précision (plus petit normalisé \(\approx 2{,}2\times10^{-308}\)). Le calcul direct donne \(\frac00\).
- Coût. Additionner est plus rapide que multiplier, et le score devient linéaire — donc directement interprétable et facile à mettre à jour.
d) Pourquoi ça marche malgré l'hypothèse fausse.
L'indépendance conditionnelle est effectivement violée : « New » et « York » apparaissent ensemble. Le classifieur surévalue donc l'évidence quand des mots corrélés sont présents, et ses probabilités estimées sont mal calibrées — souvent proches de 0 ou de 1 à tort.
Mais la décision ne dépend que du signe de la somme, pas de sa valeur. Or les erreurs de corrélation tendent à s'amplifier dans le même sens des deux côtés du rapport \(\frac{p_i}{q_i}\) et se compensent en grande partie. Le classement reste correct même quand les probabilités ne le sont pas.
C'est un résultat empirique bien établi : le classifieur bayésien naïf est mauvais estimateur de probabilité et bon classifieur. Il est étudié en deuxième année dans le module INAS24.
Corrigé — Exercice 10
a) A priori uniforme (irréaliste). Si l'on suppose \(P(\text{composé}) = P(\text{premier}) = \frac12\) :
(Un nombre premier passe le test avec probabilité 1.)
b) A priori réaliste. Autour de \(N = 2^{1024}\), la densité des premiers est \(\frac{1}{\ln N}\) :
Si l'on ne teste que des nombres impairs, la densité double : \(P(\text{premier}) \approx \frac{2}{710} \approx 2{,}82\times10^{-3}\), donc \(P(C)\approx0{,}99718\).
\(4^{-40} = 2^{-80} \approx 8{,}27\times10^{-25}\).
Environ \(3\times10^{-22}\). L'a priori défavorable ne dégrade le résultat que d'un facteur \(\approx350\) par rapport au \(4^{-40}\approx8\times10^{-25}\) naïf — négligeable devant l'ordre de grandeur.
c) Comparaison avec l'erreur matérielle. Le taux d'erreur non détectée d'une mémoire ECC est de l'ordre de \(10^{-15}\) à \(10^{-18}\) par an et par machine ; les erreurs de calcul silencieuses des processeurs sont estimées entre \(10^{-12}\) et \(10^{-16}\).
La probabilité qu'un nombre déclaré premier par 40 tours de Miller-Rabin soit en réalité composé est un million de milliards de fois plus faible que celle d'une erreur matérielle.
d) Conclusion pratique. Au-delà d'une trentaine de tours, la probabilité d'erreur de l'algorithme cesse d'être le facteur limitant : c'est le matériel qui devient le maillon faible.
Les bibliothèques cryptographiques utilisent donc typiquement 40 tours — parfois moins pour les grands modules, où l'on sait que la borne \(\frac14\) est très pessimiste. OpenSSL utilise entre 3 et 64 tours selon la taille, précédés d'un crible par division par les petits premiers.
La leçon
Un algorithme probabiliste avec une probabilité d'erreur de \(10^{-22}\) est, en pratique, plus fiable qu'un algorithme déterministe tournant sur du matériel réel. C'est un argument que le module de modélisation demande précisément de savoir formuler.
Chapitre suivant : Variables aléatoires discrètes.