Probabilités

Introduction

Au lycée, une probabilité s'est longtemps ramenée à une proportion : on comptait des cas favorables, on divisait par des cas possibles, et l'on obtenait un nombre. Ce chapitre conserve entièrement ce savoir-faire, mais il en change le statut. Ce qui était une recette devient ici une conséquence d'une définition : nous appellerons probabilité une application définie sur l'ensemble des parties d'un ensemble fini, à valeurs dans $[0,1]$, valant $1$ sur l'ensemble tout entier et additive sur les parties disjointes. Trois lignes d'axiomes, et tout le reste s'en déduit, y compris la formule de Bayes et la loi des grands nombres. Le premier bénéfice de cette formalisation est la disparition des raisonnements flous : une phrase française comme « au moins deux capteurs sur cinq tombent en panne » devient une partie explicite de l'univers, sur laquelle on peut calculer sans jamais se demander si l'on a bien compris l'énoncé.

Le cadre est strictement fini, et c'est un choix assumé qui gouverne le chapitre entier. L'univers $\Omega$, c'est-à-dire l'ensemble des résultats possibles de l'expérience, est un ensemble fini non vide, et toutes les sommes que nous écrirons seront des sommes finies, donc calculables sans le moindre théorème de convergence. Le prix à payer est réel et doit être annoncé : nous ne modéliserons pas « je répète l'essai jusqu'au premier succès » sans borne sur le nombre d'essais, ni aucune grandeur continue comme une durée ou une température. Ces situations sont hors de portée des outils de première année, et elles seront reprises plus tard.

La rupture décisive intervient au milieu du chapitre, avec les variables aléatoires. Tant que l'on manipule des événements, on manipule des parties de $\Omega$, objets ensemblistes lourds à décrire et sur lesquels on ne sait presque rien faire : on peut les réunir, les intersecter, les complémenter, c'est tout. Une variable aléatoire est simplement une application définie sur $\Omega$, mais lorsqu'elle est à valeurs réelles, elle transporte l'expérience dans un monde où l'on sait additionner, multiplier, comparer, majorer. Le gain d'un joueur, le nombre de pièces défectueuses d'un lot, la somme de deux dés : ce sont des nombres, et l'algèbre des nombres devient disponible. Cette algèbre culmine dans une propriété d'apparence anodine, la linéarité de l'espérance, qui vaut sans aucune hypothèse d'indépendance et qui fournit l'outil le plus rentable du chapitre, la méthode des indicatrices.

Le chapitre s'achève sur deux inégalités, celle de Markov et celle de Bienaymé-Tchebychev, et sur la loi faible des grands nombres énoncée sous forme non asymptotique : pour $n$ variables indépendantes de même loi, la probabilité que la moyenne observée s'écarte de plus de $\epsilon$ de l'espérance commune est majorée par $\frac{{\sigma }^2}{n{\epsilon }^2}$. Cette majoration explicite est le point d'arrivée naturel de tout ce qui précède, car elle justifie enfin, en tant que théorème et non en tant qu'intuition, la phrase que chacun répète depuis le collège : sur un grand nombre de répétitions, la fréquence observée d'un événement s'approche de sa probabilité. Elle permet même de répondre à une question d'ingénieur, « combien de mesures faut-il pour garantir telle précision avec tel risque ? », et c'est par ce calcul que nous terminerons.

Univers fini, événements

Expérience aléatoire, univers, issues

Écrire $\Omega$ n'est jamais une formalité. C'est le premier acte de la modélisation, celui qui détermine tous les calculs suivants, et une bonne partie des erreurs de ce chapitre viennent d'un univers mal choisi ou, pire, changé en cours de route sans qu'on s'en aperçoive.

Événements et vocabulaire ensembliste

Tout le vocabulaire probabiliste est une traduction du vocabulaire ensembliste, et savoir passer instantanément d'une langue à l'autre est la compétence de base du chapitre : c'est ce passage qui transforme une phrase rédigée en français en un calcul.

Les deux dernières lignes sont les lois de De Morgan, et elles seront utilisées constamment : la traduction de « aucun » est une intersection de contraires, celle de « au moins un » est le contraire de cette intersection. C'est déjà, en germe, la technique du passage au complémentaire.

Événements incompatibles, systèmes complets

La convention retenue ici est la plus souple : on n'exige pas des $A_i$ qu'ils soient non vides, un événement vide ne contribuant jamais que pour $0$ dans les formules. En revanche, dès qu'un conditionnement interviendra, il faudra exiger $P(A_i)>0$, et cette hypothèse sera alors écrite explicitement.

Choisir son univers : trois protocoles de tirage

Une même urne donne trois univers différents selon le protocole de tirage, et c'est ce choix, fait au début et tenu jusqu'au bout, qui rend un calcul juste ou faux. Considérons une urne contenant $8$ boules numérotées de $1$ à $8$, dont on extrait $3$ boules.

Les deux derniers protocoles décrivent la même situation physique vue de deux façons : $\mathrm{card}({\Omega }_2)=336=6\times 56$, car chaque partie à trois éléments correspond exactement aux $3!=6$ triplets ordonnés que l'on peut former avec ses éléments. On pourra donc, pour un tirage sans remise, choisir librement le modèle ordonné ou le modèle non ordonné : les probabilités calculées seront les mêmes, à condition de ne pas mélanger les deux en cours de raisonnement. Le modèle ordonné est plus commode dès qu'on veut parler du « premier tiré », le modèle non ordonné est plus court quand seule la composition finale compte.

Espaces probabilisés finis

Définition d'une probabilité

Démonstration. Par récurrence sur $n⩾1$. Pour $n=1$ l'égalité est immédiate, et pour $n=2$ c'est exactement l'axiome d'additivité.

Soit $n⩾2$. Supposons la propriété vraie pour toute famille de $n$ événements deux à deux incompatibles, et soit $(A_1,\dots ,A_{n+1})$ une famille de $n+1$ tels événements. Posons $B={\bigcup }_{i=1}^n{A}_i$. Les événements $B$ et $A_{n+1}$ sont incompatibles : si une issue $\omega$ appartenait à $B\cap A_{n+1}$, elle appartiendrait à un certain $A_i$ avec $i⩽n$ et à $A_{n+1}$, donc à $A_i\cap A_{n+1}=\varnothing$, ce qui est absurde. L'axiome d'additivité donne alors

$$P\left(\bigcup _{i=1}^{n+1}{A}_i\right)=P(B\cup A_{n+1})=P(B)+P(A_{n+1}),$$

et l'hypothèse de récurrence appliquée à $(A_1,\dots ,A_n)$ donne $P(B)={\sum }_{i=1}^{n}P(A_i)$, d'où le résultat au rang $n+1$.

Enfin, si la famille est un système complet, sa réunion vaut $\Omega$ et la somme des $P(A_i)$ vaut $P(\Omega )=1$. $\square$

Une probabilité est déterminée par la distribution des singletons

Démonstration. Point 1. Si $A=\varnothing$, les deux membres sont nuls, car $P(\varnothing )=0$ (démontré ci-dessous, et la démonstration n'utilise pas ce point). Sinon, écrivons $A=\{{\omega }_{i_1},\dots ,{\omega }_{i_r}\}$ avec des issues deux à deux distinctes. Alors $A={\bigcup }_{k=1}^r\{{\omega }_{i_k}\}$, et ces $r$ singletons sont deux à deux incompatibles puisque deux singletons distincts sont disjoints. L'additivité finie établie plus haut donne exactement

$$P(A)=\sum _{k=1}^{r}P(\{{\omega }_{i_k}\})=\sum _{\omega \in A}P(\{\omega \}).$$

Point 2, unicité. Si $P$ et $P^{\prime }$ sont deux probabilités qui coïncident sur les singletons, alors pour tout événement $A$, le point 1 donne

$$P(A)=\sum _{\omega \in A}P(\{\omega \})=\sum _{\omega \in A}{P}^{\prime }(\{\omega \})=P^{\prime }(A),$$

donc $P=P^{\prime }$.

Point 2, existence. Définissons $P$ sur $\mathcal{P}(\Omega )$ par $P(A)={\sum }_{i;{\omega }_i\in A}{p}_i$. Cette somme est finie à termes positifs, donc $P(A)⩾0$ ; et comme les termes omis sont eux aussi positifs, $P(A)⩽{\sum }_{i=1}^N{p}_i=1$. Ainsi $P$ est bien à valeurs dans $[0,1]$, et $P(\Omega )={\sum }_{i=1}^N{p}_i=1$. Vérifions l'additivité : soient $A$ et $B$ incompatibles, et notons $I$ et $J$ les ensembles des indices $i$ tels que ${\omega }_i\in A$ et ${\omega }_i\in B$ respectivement. Comme $A\cap B=\varnothing$, les ensembles $I$ et $J$ sont disjoints, et l'ensemble des indices associés à $A\cup B$ est exactement $I\cup J$. La somme sur $I\cup J$ se scinde donc :

$$P(A\cup B)=\sum _{i\in I\cup J}{p}_i=\sum _{i\in I}{p}_i+\sum _{i\in J}{p}_i=P(A)+P(B).$$

L'application $P$ est donc une probabilité, et $P(\{{\omega }_i\})=p_i$ par construction. $\square$

Ce résultat est le mode d'emploi du chapitre : définir une probabilité, c'est répartir une masse totale égale à $1$ sur les issues, rien d'autre. Face à un énoncé, le premier travail consiste à écrire $\Omega$ puis à donner les $N$ nombres $P(\{\omega \})$, ou une règle qui les fournit ; tout le reste s'obtient ensuite par simple addition. Un même univers porte évidemment une infinité de probabilités : $\Omega$ dit ce qui peut arriver, $P$ dit avec quel poids.

Propriétés de calcul

Démonstration. Point 1. Les événements $\Omega$ et $\varnothing$ sont incompatibles et leur réunion vaut $\Omega$ ; l'additivité donne $P(\Omega )=P(\Omega )+P(\varnothing )$, d'où $P(\varnothing )=0$.

Point 2. Les événements $A$ et $\overline{A}$ sont incompatibles et leur réunion est $\Omega$, donc $P(A)+P\left(\overline{A}\right)=P(\Omega )=1$.

Point 3. Décomposons $A$ selon que $B$ est réalisé ou non :

$$A=(A\cap B)\cup (A\cap \overline{B})=(A\cap B)\cup (A\setminus B).$$

Ces deux événements sont incompatibles, le premier étant inclus dans $B$ et le second dans $\overline{B}$. L'additivité donne $P(A)=P(A\cap B)+P(A\setminus B)$, d'où le résultat.

Point 4. Si $A\subset B$, alors $A\cap B=A$, et le point 3 appliqué à $B\setminus A$ donne $P(B\setminus A)=P(B)-P(A)$. Or $P(B\setminus A)⩾0$ puisque $P$ est à valeurs dans $[0,1]$, donc $P(A)⩽P(B)$.

Point 5. Décomposons la réunion en $A\cup B=A\cup (B\setminus A)$, réunion de deux événements incompatibles, le second étant inclus dans $\overline{A}$. Donc $P(A\cup B)=P(A)+P(B\setminus A)$, et le point 3 permet de conclure :

$$P(A\cup B)=P(A)+P(B)-P(A\cap B).$$

Point 6. C'est le point 5 dont on retranche la quantité positive $P(A\cap B)$. $\square$

Démonstration. Par récurrence sur $n⩾1$. Pour $n=1$ c'est une égalité. Supposons l'inégalité vraie au rang $n$ et posons $B={\bigcup }_{i=1}^n{A}_i$. La sous-additivité pour deux événements donne

$$P\left(\bigcup _{i=1}^{n+1}{A}_i\right)=P(B\cup A_{n+1})⩽P(B)+P(A_{n+1})⩽\sum _{i=1}^{n}P(A_i)+P(A_{n+1})=\sum _{i=1}^{n+1}P(A_i),$$

la deuxième inégalité venant de l'hypothèse de récurrence. C'est l'inégalité au rang $n+1$. $\square$

Réunion de trois événements ou plus : le crible est hors programme

Pour deux événements, la correction du double comptage est exacte, c'est le point 5 ci-dessus. Pour trois événements ou davantage, il existe une formule générale, dite formule du crible ou de Poincaré, qui alterne les sommes d'intersections. Elle est explicitement hors du programme de PCSI : vous ne devez ni l'écrire ni l'utiliser. Ce n'est pas une gêne, car toute situation où l'on serait tenté de l'invoquer se traite par l'un des trois procédés suivants.

Probabilité uniforme et dénombrement

Probabilité uniforme

Démonstration. La distribution constante $p_{\omega }=\frac{1}{N}$ est admissible : ses termes sont positifs et leur somme vaut $N\times \frac{1}{N}=1$, donc la probabilité uniforme existe et est unique d'après le théorème de la section précédente. Pour tout événement $A$, ce même théorème donne

$$P(A)=\sum _{\omega \in A}P(\{\omega \})=\sum _{\omega \in A}\frac{1}{N}=\frac{\mathrm{card}(A)}{N},$$

puisque la somme comporte exactement $\mathrm{card}(A)$ termes tous égaux à $\frac{1}{N}$. $\square$

L'équiprobabilité est une hypothèse de modélisation, jamais une conséquence. Elle se justifie par la symétrie du dispositif (dé équilibré, pièce non truquée, cartes bien battues, individu choisi « au hasard ») et doit être écrite en rédaction. Attention surtout à ceci : l'équiprobabilité dépend du choix de $\Omega$. Pour deux dés équilibrés, les $36$ couples de $[[1,6]{]}^2$ sont équiprobables, mais les $11$ sommes possibles ne le sont pas du tout, puisque la somme $7$ est réalisée par six couples et la somme $12$ par un seul, d'où $P(S=7)=\frac{6}{36}=\frac{1}{6}$ et $P(S=12)=\frac{1}{36}$. Prendre pour univers l'ensemble des sommes en le supposant uniforme est l'erreur de modélisation la plus fréquente du chapitre.

Rappels de dénombrement

Le chapitre précédent fournit exactement les quatre cardinaux dont on a besoin. Soit $E$ un ensemble de cardinal $n$ et $p$ un entier naturel.

Le tableau suivant traduit chaque protocole d'expérience en objet à compter. C'est lui qu'il faut avoir en tête au moment de choisir l'univers.

Exemples entièrement traités

Probabilités conditionnelles

Définition

Les deux notations $P_B(A)$ et $P(A\mid B)$ désignent la même quantité ; nous utiliserons surtout la première, qui met en évidence le fait que $P_B$ est une nouvelle probabilité. L'idée est un changement d'univers : savoir que $B$ est réalisé revient à décréter que les issues extérieures à $B$ n'existent plus, donc à redistribuer la masse $1$ à l'intérieur de $B$ proportionnellement aux masses initiales ; la division par $P(B)$ est exactement la renormalisation qui rend la masse totale égale à $1$. La condition $P(B)>0$ n'est pas une coquetterie de rédaction, c'est une nécessité : le quotient n'a aucun sens sinon. Vérifiez-la et signalez-la avant d'écrire $P_B$.

$P_B$ est une probabilité

Démonstration. Vérifions d'abord que $P_B$ est à valeurs dans $[0,1]$. Pour tout événement $A$, on a $A\cap B\subset B$, donc $0⩽P(A\cap B)⩽P(B)$ par croissance ; en divisant par $P(B)>0$, il vient $0⩽P_B(A)⩽1$.

Ensuite $P_B(\Omega )=\frac{P(\Omega \cap B)}{P(B)}=\frac{P(B)}{P(B)}=1$.

Enfin, soient $A$ et $C$ deux événements incompatibles. Les événements $A\cap B$ et $C\cap B$ sont alors eux aussi incompatibles, car $(A\cap B)\cap (C\cap B)\subset A\cap C=\varnothing$. Par distributivité, $(A\cup C)\cap B=(A\cap B)\cup (C\cap B)$, donc l'additivité de $P$ donne

$$P_B(A\cup C)=\frac{P((A\cap B)\cup (C\cap B))}{P(B)}=\frac{P(A\cap B)+P(C\cap B)}{P(B)}=P_B(A)+P_B(C).$$

Les deux axiomes sont vérifiés : $P_B$ est une probabilité. $\square$

L'intérêt pratique est considérable : une fois qu'on sait que $P_B$ est une probabilité, on n'a plus rien à redémontrer sous conditionnement. En revanche, prenez garde à ce que le conditionnement porte bien toujours sur le même événement : $P_B\left(\overline{A}\right)=1-P_B(A)$ est vrai, mais $P_A(B)$ et $P_B(A)$ n'ont aucune raison d'être égaux, et il n'existe aucune formule reliant $P_{\overline{B}}(A)$ à $P_B(A)$.

Formule des probabilités composées

Démonstration. Le cas de deux événements est la définition, multipliée par $P(B)$.

Remarquons d'abord que l'hypothèse a un sens : par croissance, $P(A_1\cap \cdots \cap A_k)⩾P(A_1\cap \cdots \cap A_{n-1})>0$ pour tout $k⩽n-1$, donc tous les conditionnements écrits sont légitimes.

Montrons la formule par récurrence sur $n⩾2$. Le cas $n=2$ vient d'être traité. Supposons-la vraie au rang $n$ et soient $A_1,\dots ,A_{n+1}$ des événements tels que $P(A_1\cap \cdots \cap A_n)>0$. Posons $B={\bigcap }_{i=1}^n{A}_i$. Comme $P(B)>0$, le cas de deux événements donne

$$P\left(\bigcap _{i=1}^{n+1}{A}_i\right)=P(B\cap A_{n+1})=P(B)P_B(A_{n+1}).$$

Or $P(A_1\cap \cdots \cap A_{n-1})⩾P(B)>0$, donc l'hypothèse de récurrence s'applique à $A_1,\dots ,A_n$ et fournit

$$P(B)=P(A_1)P_{A_1}(A_2)\cdots P_{A_1\cap \cdots \cap A_{n-1}}(A_n).$$

En reportant, on obtient la formule au rang $n+1$. $\square$

Arbres pondérés

Un arbre pondéré est la traduction graphique de la formule des probabilités composées. On le lit selon trois règles, qu'il faut savoir énoncer.

Formule des probabilités totales

Démonstration. Les événements $B\cap A_1,\dots ,B\cap A_n$ sont deux à deux incompatibles, car $(B\cap A_i)\cap (B\cap A_j)\subset A_i\cap A_j=\varnothing$ dès que $i\ne j$. Par ailleurs, comme ${\bigcup }_{i=1}^n{A}_i=\Omega$, la distributivité donne

$$\bigcup _{i=1}^n(B\cap A_i)=B\cap \left(\bigcup _{i=1}^n{A}_i\right)=B\cap \Omega =B.$$

L'additivité finie donne donc $P(B)={\sum }_{i=1}^{n}P(B\cap A_i)$, et comme $P(A_i)>0$ pour tout $i$, la formule des probabilités composées permet d'écrire $P(B\cap A_i)=P(A_i)P_{A_i}(B)$, d'où le résultat.

Le cas particulier s'obtient en appliquant ce qui précède au système complet $(A,\overline{A})$, dont les deux événements sont de probabilité non nulle puisque $0<P(A)<1$. $\square$

Il arrive qu'un système complet comporte des événements de probabilité nulle, par exemple lorsqu'on découpe l'univers selon une variable dont certaines valeurs ne sont jamais atteintes. La formule reste vraie, à condition d'adopter la convention suivante.

Démonstration. La décomposition $B={\bigcup }_{i=1}^n(B\cap A_i)$ en événements deux à deux incompatibles ne suppose rien sur les probabilités, donc $P(B)={\sum }_{i=1}^{n}P(B\cap A_i)$ reste valable. Il suffit de vérifier que chaque terme s'écrit bien comme annoncé. Si $P(A_i)>0$, la formule des probabilités composées donne $P(B\cap A_i)=P(A_i)P_{A_i}(B)$. Si $P(A_i)=0$, alors $B\cap A_i\subset A_i$, donc $0⩽P(B\cap A_i)⩽P(A_i)=0$ par croissance, et le terme vaut $0$, ce qui est exactement la valeur imposée par la convention. $\square$

Cette version dispense d'écarter à la main les cas dégénérés. En rédaction, le plus sûr reste de vérifier les hypothèses : citez « le système $(A_i)$ est complet, tous les $P(A_i)$ sont strictement positifs, donc la formule des probabilités totales donne… ».

Formule de Bayes

Démonstration. Par définition, $P_B(A)=\frac{P(A\cap B)}{P(B)}$. Comme $P(A)>0$, la formule des probabilités composées donne $P(A\cap B)=P(A)P_A(B)$, d'où la première égalité.

Pour la seconde, on applique la première à $A=A_k$, puis on remplace le dénominateur $P(B)$ par son expression donnée par la formule des probabilités totales appliquée au système complet $(A_i{)}_{1⩽i⩽n}$. $\square$

Un exemple complet : test de dépistage

Indépendance d'événements

Deux événements indépendants

Démonstration. Supposons $P(B)>0$. Alors $P_B(A)=\frac{P(A\cap B)}{P(B)}$, et l'égalité $P_B(A)=P(A)$ équivaut, en multipliant par $P(B)>0$, à $P(A\cap B)=P(A)P(B)$, c'est-à-dire à l'indépendance. $\square$

Cette caractérisation donne le sens intuitif de la notion : savoir que $B$ est réalisé ne modifie pas la probabilité de $A$. C'est cependant la définition par le produit qu'il faut retenir, car elle est symétrique en $A$ et $B$ et reste valable sans hypothèse de non-nullité.

Indépendance et incompatibilité : le piège

Ces deux notions sont fréquemment confondues, alors qu'elles sont presque opposées. Deux événements incompatibles ne peuvent pas se produire ensemble : la réalisation de l'un interdit celle de l'autre, ce qui est une dépendance extrêmement forte. Deux événements indépendants, au contraire, n'ont aucune influence l'un sur l'autre. Précisément :

Démonstration. Comme $A\cap B=\varnothing$, on a $P(A\cap B)=P(\varnothing )=0$. Or $P(A)P(B)>0$ comme produit de deux réels strictement positifs. Donc $P(A\cap B)\ne P(A)P(B)$, et les deux événements ne sont pas indépendants. $\square$

Retenez la formulation courte : incompatibles et de probabilités non nulles $\Rightarrow$ dépendants. Autre point de vigilance : l'indépendance est une propriété de la probabilité $P$, pas des ensembles $A$ et $B$. Deux événements peuvent être indépendants pour une probabilité et dépendants pour une autre sur le même univers ; il faut donc que l'énoncé la justifie, en général par le dispositif physique (répétitions séparées, composants distincts, individus tirés indépendamment).

Stabilité par passage au contraire

Démonstration. Supposons $P(A\cap B)=P(A)P(B)$. Les événements $A\cap B$ et $A\cap \overline{B}$ sont incompatibles et leur réunion vaut $A$, donc

$$P(A\cap \overline{B})=P(A)-P(A\cap B)=P(A)-P(A)P(B)=P(A)(1-P(B))=P(A)P\left(\overline{B}\right).$$

Ainsi $A$ et $\overline{B}$ sont indépendants. En échangeant les rôles de $A$ et $B$, on obtient l'indépendance de $\overline{A}$ et $B$. Enfin, en appliquant le premier résultat au couple indépendant $(\overline{A},B)$, on obtient l'indépendance de $\overline{A}$ et $\overline{B}$. $\square$

Cette propriété est le fondement du passage au complémentaire dans les calculs de fiabilité : si des composants fonctionnent indépendamment, leurs pannes sont, elles aussi, indépendantes.

Famille finie d'événements mutuellement indépendants

L'indépendance mutuelle est donc une conjonction de $2^n-n-1$ égalités, et non d'une seule. Pour trois événements, il ne suffit pas de vérifier $P(A\cap B\cap C)=P(A)P(B)P(C)$ : il faut aussi les trois égalités deux à deux. Il ne suffit pas non plus de vérifier les trois égalités deux à deux, comme le montre le contre-exemple suivant, qu'il faut savoir refaire.

Ce résultat, admis ici dans le cas général (il se démontre par récurrence sur le nombre d'événements remplacés, en reprenant l'argument du cas de deux événements), est ce qui autorise le calcul suivant, omniprésent en fiabilité : si $A_1,\dots ,A_n$ sont mutuellement indépendants,

$$P\left(\bigcup _{i=1}^n{A}_i\right)=1-P\left(\bigcap _{i=1}^n\overline{A_i}\right)=1-\prod _{i=1}^n(1-P(A_i)).$$

Modélisation de $n$ expériences indépendantes

Lorsqu'on répète $n$ expériences aléatoires « sans influence les unes sur les autres », on construit l'univers produit

$$\Omega ={\Omega }_1\times {\Omega }_2\times \cdots \times {\Omega }_n,$$

muni de la probabilité définie sur les issues par

$$P(\{({\omega }_1,\dots ,{\omega }_n)\})=P_1(\{{\omega }_1\})\times \cdots \times P_n(\{{\omega }_n\}),$$

où $P_k$ est la probabilité gouvernant la $k$-ième expérience. C'est bien une distribution de probabilités : ses termes sont positifs, et leur somme se factorise en un produit de $n$ sommes toutes égales à $1$. Le cas le plus fréquent est celui de $n$ répétitions identiques et indépendantes d'une même expérience, où tous les ${\Omega }_k$ et tous les $P_k$ sont égaux.

Variables aléatoires

Définition et notations

Le point à comprendre est que la notation $(X=x)$ ne désigne pas une égalité, mais un ensemble d'issues. C'est cette identification, entre une condition portant sur la valeur de $X$ et la partie de $\Omega$ où elle est satisfaite, qui permet de calculer des probabilités sans jamais revenir à la description explicite de $\Omega$, et c'est là tout le confort qu'apportent les variables aléatoires.

Loi d'une variable aléatoire

Démonstration. Point 1. Soient $j\ne k$. Si une issue $\omega$ appartenait à $(X=x_j)\cap (X=x_k)$, on aurait $x_j=X(\omega )=x_k$, ce qui contredit le fait que les valeurs sont deux à deux distinctes : les événements sont donc deux à deux incompatibles. De plus, pour toute issue $\omega$, la valeur $X(\omega )$ appartient à $X(\Omega )$ par définition, donc $\omega$ appartient à l'un des $(X=x_j)$ : la réunion vaut $\Omega$. La famille est bien un système complet.

Point 2. La positivité est celle de $P$. Quant à la somme, la propriété d'additivité finie appliquée au système complet du point 1 donne directement

$$\sum _{j=1}^{r}P(X=x_j)=P\left(\bigcup _{j=1}^r(X=x_j)\right)=P(\Omega )=1.\square$$

Ce système complet, dit système complet associé à $X$, est l'outil de travail permanent : c'est lui qu'on utilise dans la formule des probabilités totales quand on veut « discuter selon la valeur prise par $X$ ». Et le point 2 fournit le contrôle obligatoire de tout calcul de loi : la somme des probabilités doit valoir $1$. Une loi qui ne somme pas à $1$ est fausse, sans exception.

Système complet associé, variable $f(X)$

Démonstration. L'application $f\circ X$ est bien définie de $\Omega$ dans $F$, c'est donc une variable aléatoire, et l'ensemble de ses valeurs est l'image par $f$ de l'ensemble des valeurs de $X$.

Fixons $y\in f(X(\Omega ))$ et posons $A_y=\{x\in X(\Omega );f(x)=y\}$. Pour toute issue $\omega$,

$$f(X(\omega ))=y⟺X(\omega )\in A_y,$$

donc $(f(X)=y)=(X\in A_y)={\bigcup }_{x\in A_y}(X=x)$. Cette réunion est constituée d'événements deux à deux incompatibles, puisqu'ils font partie du système complet associé à $X$. L'additivité finie donne alors

$$P(f(X)=y)=\sum _{x\in A_y}P(X=x),$$

ce qui est la formule annoncée. $\square$

Loi conditionnelle

Comme $P_A$ est une probabilité, cette famille est bien une distribution de probabilités sur $X(\Omega )$ : ses termes sont positifs et leur somme vaut $1$. La formule des probabilités totales appliquée à un système complet $(A_i)$ de probabilités non nulles s'écrit alors, pour toute valeur $x$,

$$P(X=x)=\sum _{i}P(A_i)P_{A_i}(X=x),$$

égalité qu'on utilise constamment pour reconstituer une loi à partir de lois conditionnelles plus simples.

Lois usuelles

Démonstration. L'application $1_A$ est définie sur $\Omega$ et à valeurs dans $\{0,1\}$, c'est donc une variable aléatoire. Par construction, $(1_A=1)=A$ et $(1_A=0)=\overline{A}$, d'où $P(1_A=1)=P(A)$ et $P(1_A=0)=1-P(A)$ : c'est bien la loi de Bernoulli de paramètre $P(A)$. $\square$

Cette correspondance entre événements et variables de Bernoulli est le pont qui fait passer du langage ensembliste au langage algébrique ; elle donnera plus loin la méthode des indicatrices.

Démonstration. Chaque terme est un produit de réels positifs, donc positif. Pour la somme, la formule du binôme de Newton appliquée aux réels $a=p$ et $b=1-p$ donne

$$\sum _{k=0}^n\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}=(p+(1-p){)}^n=1^n=1.\square$$

Démonstration. On modélise l'expérience par l'univers produit $\Omega =\{S,E{\}}^n$, une issue étant la liste des résultats des $n$ épreuves, la probabilité d'une issue comportant $k$ succès et $n-k$ échecs valant $p^k(1-p{)}^{n-k}$ par indépendance. Soit $k\in [[0,n]]$. L'événement $(X=k)$ est l'ensemble des issues comportant exactement $k$ succès. Une telle issue est entièrement déterminée par l'ensemble des positions des succès, c'est-à-dire par une partie à $k$ éléments de $[[1,n]]$ ; il y en a donc $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$, et chacune a la probabilité $p^k(1-p{)}^{n-k}$. Comme ces issues sont deux à deux distinctes, donc leurs singletons deux à deux incompatibles, l'additivité finie donne

$$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}.\square$$

Couples et $n$-uplets de variables aléatoires

Couple, loi conjointe, lois marginales

Démonstration. Fixons $x\in X(\Omega )$. La famille $((Y=y){)}_{y\in Y(\Omega )}$ est le système complet associé à $Y$. La formule des probabilités totales, dans sa version valable même en présence d'événements de probabilité nulle, appliquée à l'événement $(X=x)$, donne

$$P(X=x)=\sum _{y\in Y(\Omega )}P((X=x)\cap (Y=y))=\sum _{y\in Y(\Omega )}P(X=x,Y=y).$$

On peut aussi le voir directement : les événements $(X=x)\cap (Y=y)$, pour $y$ parcourant $Y(\Omega )$, sont deux à deux incompatibles et leur réunion vaut $(X=x)$, donc l'additivité finie conclut. Le second point s'obtient en échangeant les rôles de $X$ et $Y$. $\square$

La réciproque est fausse : les lois marginales ne déterminent pas la loi conjointe. Voici le contre-exemple minimal, à connaître. Soient $X$ et $Y$ deux variables de loi $\mathcal{B}\left(\frac{1}{2}\right)$. Si elles proviennent de deux lancers indépendants d'une pièce équilibrée, la loi conjointe est $P(X=i,Y=j)=\frac{1}{4}$ pour les quatre couples $(i,j)$. Si au contraire $Y=X$, c'est-à-dire si l'on observe deux fois le même lancer, alors $P(X=0,Y=0)=P(X=1,Y=1)=\frac{1}{2}$ et les deux autres probabilités sont nulles. Les lois marginales sont les mêmes dans les deux cas, les lois conjointes sont différentes : la loi conjointe contient une information sur le lien entre $X$ et $Y$ qui est absente des marginales.

Tableau à double entrée

Quand $X$ et $Y$ prennent peu de valeurs, la loi conjointe se présente dans un tableau à double entrée : les probabilités conjointes à l'intérieur, les lois marginales obtenues en sommant les lignes et les colonnes, d'où le nom de « marges ».

Variables aléatoires indépendantes

Autrement dit, $X$ et $Y$ sont indépendantes si et seulement si la loi conjointe est le produit des lois marginales : dans le tableau à double entrée, chaque case intérieure doit être le produit de sa marge de ligne par sa marge de colonne. C'est une condition très forte, qui porte sur toutes les cases à la fois, et il suffit d'une seule case en défaut pour la mettre en échec.

Démonstration. Fixons $(x_i{)}_{i\in J}$ avec $x_i\in X_i(\Omega )$ pour tout $i\in J$. Les événements

$$\bigcap _{i=1}^n(X_i=x_i),$$

obtenus en faisant varier les coordonnées $(x_i{)}_{i\notin J}$ dans ${\prod }_{i\notin J}{X}_i(\Omega )$, sont deux à deux incompatibles, et leur réunion est exactement ${\bigcap }_{i\in J}(X_i=x_i)$ : toute issue de cet événement possède en effet des valeurs bien déterminées pour les coordonnées restantes. L'additivité finie puis l'indépendance de la famille complète donnent

$$P\left(\bigcap _{i\in J}(X_i=x_i)\right)=\sum _{(x_i{)}_{i\notin J}}\prod _{i=1}^{n}P(X_i=x_i)=\left(\prod _{i\in J}P(X_i=x_i)\right)\times \prod _{i\notin J}\left(\sum _{x_i\in X_i(\Omega )}P(X_i=x_i)\right).$$

Or chaque somme intérieure vaut $1$, puisque la loi de $X_i$ est une distribution de probabilités. Il reste ${\prod }_{i\in J}P(X_i=x_i)$, ce qui est l'indépendance de la sous-famille. $\square$

Démonstration. Soient $u\in f(X(\Omega ))$ et $v\in g(Y(\Omega ))$. Posons

$$A_u=\{x\in X(\Omega );f(x)=u\},B_v=\{y\in Y(\Omega );g(y)=v\}.$$

L'événement $(f(X)=u)\cap (g(Y)=v)$ est la réunion, sur les couples $(x,y)\in A_u\times B_v$, des événements deux à deux incompatibles $(X=x)\cap (Y=y)$. L'additivité finie, puis l'indépendance de $X$ et $Y$, puis la factorisation d'une somme double à variables séparées, donnent

$$\begin{array}{rl}P(f(X)=u,g(Y)=v)& =\sum _{x\in A_u}\sum _{y\in B_v}P(X=x,Y=y)\\ & =\sum _{x\in A_u}\sum _{y\in B_v}P(X=x)P(Y=y)\\ & =\left(\sum _{x\in A_u}P(X=x)\right)\left(\sum _{y\in B_v}P(Y=y)\right)\\ & =P(f(X)=u)P(g(Y)=v).\end{array}$$

C'est l'indépendance de $f(X)$ et $g(Y)$. $\square$

$n$-uplets et lemme des coalitions

Ce résultat est admis : sa démonstration n'est pas au programme. Il est en revanche d'un usage constant, et il faut le citer explicitement quand on s'en sert. Exemple typique : si $X_1,\dots ,X_5$ sont indépendantes, alors $X_1+X_2$ et $X_3{X}_4{X}_5$ sont indépendantes, car elles sont fonctions de blocs disjoints. Attention à la condition de disjonction : $X_1+X_2$ et $X_2+X_3$ n'ont aucune raison d'être indépendantes, la variable $X_2$ figurant dans les deux.

Somme de Bernoulli indépendantes

Démonstration. Chaque $X_i$ est à valeurs dans $\{0,1\}$, donc $S$ est à valeurs dans $[[0,n]]$. Fixons $k\in [[0,n]]$ et cherchons $P(S=k)$.

Pour toute partie $J$ de $[[1,n]]$ de cardinal $k$, posons

$$E_J=\bigcap _{i\in J}(X_i=1)\cap \bigcap _{i\notin J}(X_i=0).$$

Ces événements sont deux à deux incompatibles : si $J\ne J^{\prime }$, il existe un indice $i$ appartenant à l'un et pas à l'autre, et l'on aurait à la fois $X_i=1$ et $X_i=0$ sur $E_J\cap E_{J^{\prime }}$, ce qui est impossible. De plus, une issue $\omega$ réalise $(S=k)$ si et seulement si exactement $k$ des $X_i$ valent $1$ en $\omega$, c'est-à-dire si et seulement si $\omega$ appartient à $E_J$ pour $J=\{i;X_i(\omega )=1\}$, partie de cardinal $k$. Donc

$$(S=k)=\bigcup _{\begin{array}{c}J\subset [[1,n]]\\ \mathrm{card}(J)=k\end{array}}{E}_J,\text{reˊunion d’eˊveˊnements deux aˋ deux incompatibles.}$$

Chaque $E_J$ est une intersection où toutes les variables sont fixées, donc l'indépendance de la famille $(X_1,\dots ,X_n)$ s'applique directement :

$$P(E_J)=\prod _{i\in J}P(X_i=1)\times \prod _{i\notin J}P(X_i=0)=p^k(1-p{)}^{n-k},$$

cette valeur ne dépendant pas de $J$. Comme le nombre de parties $J$ à $k$ éléments de $[[1,n]]$ vaut $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$, l'additivité finie donne

$$P(S=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k},$$

c'est-à-dire $S\sim \mathcal{B}(n,p)$. $\square$

Ce théorème est le pivot du chapitre : il transforme une loi binomiale, objet global assez lourd, en une somme de variables simples et indépendantes, ce qui permettra de calculer son espérance et sa variance sans le moindre calcul de somme binomiale. Réciproquement, il fournit un critère de reconnaissance : si l'on parvient à écrire une variable comme une somme d'indicatrices indépendantes de même paramètre, elle est binomiale.

Espérance

Définition et première formule

L'espérance est la moyenne des valeurs prises par $X$, pondérée par leurs probabilités. Ce n'est pas une valeur que $X$ prend nécessairement : l'espérance du nombre de points d'un dé équilibré vaut $3,5$.

Démonstration. Notons $X(\Omega )=\{x_1,\dots ,x_r\}$ avec des valeurs deux à deux distinctes. La famille $((X=x_j){)}_{1⩽j⩽r}$ est un système complet d'événements, donc les ensembles $(X=x_j)$ forment une partition de $\Omega$ (à ceci près que certains peuvent être vides, ce qui ne change rien aux sommes). On peut donc regrouper les termes de la somme sur $\Omega$ selon la valeur prise par $X$ :

$$\sum _{\omega \in \Omega }X(\omega )P(\{\omega \})=\sum _{j=1}^r\sum _{\omega \in (X=x_j)}X(\omega )P(\{\omega \}).$$

Or, sur l'événement $(X=x_j)$, on a $X(\omega )=x_j$, constante que l'on factorise :

$$\sum _{\omega \in (X=x_j)}X(\omega )P(\{\omega \})=x_j\sum _{\omega \in (X=x_j)}P(\{\omega \})=x_{j}P(X=x_j),$$

la dernière égalité venant de l'expression d'une probabilité comme somme des masses des singletons. En sommant sur $j$, on obtient ${\sum }_{j=1}^r{x}_{j}P(X=x_j)=E(X)$. $\square$

Les deux formules ont chacune leur usage. La première, sur $X(\Omega )$, est celle du calcul concret dès qu'on connaît la loi. La seconde, sur $\Omega$, est celle des démonstrations, car elle est linéaire en $X$ de façon évidente : c'est elle qui donne en trois lignes la linéarité de l'espérance.

Propriétés

Démonstration. Point 1. Si $X$ est constante égale à $c$, alors $X(\Omega )=\{c\}$ et $P(X=c)=1$, donc $E(X)=c\times 1=c$.

Point 2. La variable $1_A$ prend les valeurs $1$ et $0$ avec les probabilités $P(A)$ et $1-P(A)$, donc

$$E\left(1_A\right)=1\times P(A)+0\times (1-P(A))=P(A).$$

Point 3. On utilise la formule sur $\Omega$. Pour toute issue $\omega$, $(\lambda X+\mu Y)(\omega )=\lambda X(\omega )+\mu Y(\omega )$, donc

$$E(\lambda X+\mu Y)=\sum _{\omega \in \Omega }(\lambda X(\omega )+\mu Y(\omega ))P(\{\omega \})=\lambda \sum _{\omega \in \Omega }X(\omega )P(\{\omega \})+\mu \sum _{\omega \in \Omega }Y(\omega )P(\{\omega \}),$$

par linéarité de la somme finie, c'est-à-dire $E(\lambda X+\mu Y)=\lambda E(X)+\mu E(Y)$.

Point 4. Si $X⩾0$, tous les termes de ${\sum }_{\omega \in \Omega }X(\omega )P(\{\omega \})$ sont des produits de réels positifs, donc la somme est positive.

Point 5. Si $X⩽Y$, la variable $Y-X$ est positive, donc $E(Y-X)⩾0$ par le point 4 ; la linéarité donne $E(Y)-E(X)⩾0$.

Point 6. Pour toute issue $\omega$, $-|X(\omega )|⩽X(\omega )⩽|X(\omega )|$, c'est-à-dire $-|X|⩽X⩽|X|$. La croissance et la linéarité donnent $-E(|X|)⩽E(X)⩽E(|X|)$, ce qui équivaut à $|E(X)|⩽E(|X|)$.

Point 7. Par linéarité et par le point 1, $E(X-E(X))=E(X)-E(X)=0$. $\square$

Il faut mesurer la portée du point 3 : la linéarité de l'espérance ne demande aucune hypothèse sur les variables. Elle vaut même si $X$ et $Y$ sont fortement liées, même si $Y=X^2$, même si l'on ne sait rien de la loi conjointe. C'est ce qui en fait l'outil le plus puissant du chapitre, et c'est ce qui distingue radicalement l'espérance de la variance, laquelle, elle, ne s'ajoute pas sans hypothèse.

Formule de transfert

Démonstration. Appliquons à la variable réelle $f(X)$ la formule de l'espérance sur $\Omega$ :

$$E(f(X))=\sum _{\omega \in \Omega }f(X(\omega ))P(\{\omega \}).$$

Regroupons les issues selon la valeur prise par $X$, en utilisant le système complet $((X=x){)}_{x\in X(\Omega )}$ :

$$E(f(X))=\sum _{x\in X(\Omega )}\sum _{\omega \in (X=x)}f(X(\omega ))P(\{\omega \})=\sum _{x\in X(\Omega )}f(x)\sum _{\omega \in (X=x)}P(\{\omega \})=\sum _{x\in X(\Omega )}f(x)P(X=x),$$

puisque $f(X(\omega ))=f(x)$ est constante sur $(X=x)$ et que la somme des masses des singletons de $(X=x)$ vaut $P(X=x)$.

Pour la version couple, on applique ce qui précède à la variable aléatoire $Z=(X,Y)$, à valeurs dans $X(\Omega )\times Y(\Omega )$, et à la fonction $g$. Il vient

$$E(g(X,Y))=\sum _{(x,y)\in X(\Omega )\times Y(\Omega )}g(x,y)P((X,Y)=(x,y)),$$

et l'on reconnaît la somme double annoncée, car $P((X,Y)=(x,y))=P(X=x,Y=y)$. La même démonstration s'étend telle quelle à un $n$-uplet. $\square$

L'intérêt de la formule est dans son nom : elle transfère le calcul de $E(f(X))$ sur la loi de $X$, sans qu'il soit nécessaire de déterminer la loi de $f(X)$. C'est un gain de temps considérable, car la loi de $f(X)$ demande de fusionner des valeurs et de sommer des probabilités, travail entièrement évité.

La méthode des indicatrices

Espérance des lois usuelles

Démonstration. Point 1. Par définition et par la formule de la somme des premiers entiers,

$$E(X)=\sum _{k=1}^{n}k\times \frac{1}{n}=\frac{1}{n}\times \frac{n(n+1)}{2}=\frac{n+1}{2}.$$

Point 2. $E(X)=1\times p+0\times (1-p)=p$.

Point 3, première méthode : par la formule de transfert. On part de la définition et l'on utilise l'identité $k\left(\genfrac{}{}{0ex}{}{n}{k}\right)=n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)$, valable pour $k\in [[1,n]]$, qui se vérifie sur les factorielles :

$$k\left(\genfrac{}{}{0ex}{}{n}{k}\right)=k\times \frac{n!}{k!(n-k)!}=\frac{n!}{(k-1)!(n-k)!}=n\times \frac{(n-1)!}{(k-1)!((n-1)-(k-1))!}=n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right).$$

Le terme d'indice $k=0$ étant nul, il vient

$$E(X)=\sum _{k=0}^{n}k\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}=\sum _{k=1}^{n}n(\genfrac{}{}{0ex}{}{n-1}{k-1})p^k(1-p{)}^{n-k}=np\sum _{k=1}^n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)p^{k-1}(1-p{)}^{n-k}.$$

Le changement d'indice $j=k-1$ transforme la somme en

$$\sum _{j=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{j}\right)p^j(1-p{)}^{(n-1)-j}=(p+(1-p){)}^{n-1}=1$$

par la formule du binôme, d'où $E(X)=np$.

Point 3, seconde méthode : par les indicatrices. Une variable de loi $\mathcal{B}(n,p)$ a la même loi que $S=X_1+\cdots +X_n$ où les $X_i$ sont indépendantes de loi $\mathcal{B}(p)$, d'après le théorème sur la somme de Bernoulli. Comme l'espérance ne dépend que de la loi, la linéarité donne immédiatement

$$E(X)=E(S)=\sum _{i=1}^{n}E(X_i)=np.\square$$

La comparaison des deux méthodes est instructive : la première est un exercice de calcul sur les coefficients binomiaux, la seconde tient en une ligne. Chaque fois qu'une variable se décompose en somme, il faut préférer la décomposition au calcul direct.

Espérance d'un produit

Démonstration. Appliquons la formule de transfert pour un couple à la fonction $g(x,y)=xy$ :

$$E(XY)=\sum _{x\in X(\Omega )}\sum _{y\in Y(\Omega )}xyP(X=x,Y=y).$$

L'indépendance de $X$ et $Y$ permet de remplacer $P(X=x,Y=y)$ par $P(X=x)P(Y=y)$, puis de séparer les variables dans la somme double :

$$E(XY)=\sum _{x\in X(\Omega )}\sum _{y\in Y(\Omega )}(xP(X=x))(yP(Y=y))=\left(\sum _{x\in X(\Omega )}xP(X=x)\right)\left(\sum _{y\in Y(\Omega )}yP(Y=y)\right)=E(X)E(Y).\square$$

L'implication n'est pas une équivalence : il existe des variables non indépendantes vérifiant $E(XY)=E(X)E(Y)$, et nous en construirons une dans la section suivante. Écrire $E(XY)=E(X)E(Y)$ sans avoir justifié l'indépendance est l'une des fautes les plus lourdement sanctionnées du chapitre.

Variance, écart type et covariance

Variance et écart type

La variance mesure la dispersion de $X$ autour de sa moyenne : c'est la moyenne des carrés des écarts à l'espérance. L'écart type a l'avantage de s'exprimer dans la même unité que $X$, ce qui le rend directement comparable à $E(X)$.

Démonstration. Point 1. La variable $(X-m{)}^2$ est positive, donc son espérance l'est par positivité de l'espérance.

Point 2. Écrivons $V(X)={\sum }_{x\in X(\Omega )}(x-m{)}^{2}P(X=x)$. C'est une somme finie de termes tous positifs, donc elle est nulle si et seulement si chacun de ses termes est nul, c'est-à-dire si et seulement si, pour toute valeur $x\in X(\Omega )$,

$$(x-m{)}^{2}P(X=x)=0⟺(x=m\text{ ou }P(X=x)=0).$$

Autrement dit, toute valeur de probabilité non nulle est égale à $m$. En sommant les probabilités du système complet associé à $X$, il reste $P(X=m)=1$. Réciproquement, si $P(X=m)=1$, tous les autres termes sont nuls et $V(X)=(m-m{)}^2\times 1=0$. $\square$

Koenig-Huygens et transformation affine

Démonstration. Posons $m=E(X)$, qui est un réel constant. En développant le carré, puis en utilisant la linéarité de l'espérance et le fait que l'espérance d'une constante est cette constante,

$$\begin{array}{rl}V(X)& =E\left(\right(X-m{)}^2)=E(X^2-2mX+m^2)\\ & =E\left(X^2\right)-2mE(X)+m^2\\ & =E\left(X^2\right)-2m^2+m^2=E\left(X^2\right)-m^2.\end{array}$$

C'est la formule annoncée. $\square$

C'est cette formule qu'on utilise dans tous les calculs pratiques : on calcule $E(X)$ et $E(X^2)$ par transfert, puis on soustrait. Un contrôle gratuit en découle : on doit toujours trouver $E(X^2)⩾E(X{)}^2$, faute de quoi il y a une erreur de calcul.

Démonstration. Par linéarité, $E(aX+b)=aE(X)+b=am+b$, donc

$$(aX+b)-E(aX+b)=aX+b-am-b=a(X-m).$$

En élevant au carré puis en prenant l'espérance, et en utilisant à nouveau la linéarité pour sortir la constante $a^2$,

$$V(aX+b)=E\left(a^2\right(X-m{)}^2)=a^{2}E((X-m{)}^2)=a^{2}V(X).$$

En prenant la racine carrée et en se souvenant que $\sqrt{a^2}=|a|$, on obtient l'égalité sur les écarts types. $\square$

Deux lectures : d'une part la variance est insensible à une translation, ce qui est logique puisqu'elle mesure une dispersion et non une position ; d'autre part elle est quadratique en $a$, ce qui explique la présence du carré et le passage à l'écart type pour retrouver l'homogénéité.

En effet, la linéarité donne $E(X^{\ast })=\frac{E(X)-E(X)}{\sigma (X)}=0$, et la propriété précédente, appliquée avec $a=\frac{1}{\sigma (X)}$ et $b=-\frac{E(X)}{\sigma (X)}$, donne $V(X^{\ast })=\frac{V(X)}{\sigma (X{)}^2}=1$.

Variance des lois usuelles

Démonstration. Point 1. La variable $X$ étant à valeurs dans $\{0,1\}$, on a $X^2=X$, donc $E(X^2)=E(X)=p$. Koenig-Huygens donne

$$V(X)=p-p^2=p(1-p).$$

Point 2. On connaît $E(X)=\frac{n+1}{2}$. Par transfert et par la formule de la somme des carrés des premiers entiers,

$$E\left(X^2\right)=\sum _{k=1}^n{k}^2\times \frac{1}{n}=\frac{1}{n}\times \frac{n(n+1)(2n+1)}{6}=\frac{(n+1)(2n+1)}{6}.$$

Koenig-Huygens donne alors

$$V(X)=\frac{(n+1)(2n+1)}{6}-\frac{(n+1{)}^2}{4}=\frac{(n+1)[2(2n+1)-3(n+1)]}{12}=\frac{(n+1)(n-1)}{12}=\frac{n^2-1}{12}.$$

Point 3. La démonstration est donnée plus bas, après la variance d'une somme : elle utilise la décomposition d'une binomiale en somme de Bernoulli indépendantes. $\square$

Covariance

Démonstration. Point 1. C'est la définition de la variance : $\mathrm{Cov}(X,X)=E((X-E(X){)}^2)=V(X)$.

Point 2. Le produit de deux réels est commutatif, donc les deux expressions sont identiques.

Point 4. Notons $m=E(X)$ et $m^{\prime }=E(Y)$. En développant le produit puis en utilisant la linéarité de l'espérance :

$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E(XY-m^{\prime }X-mY+m{m}^{\prime })\\ & =E(XY)-m^{\prime }E(X)-mE(Y)+m{m}^{\prime }\\ & =E(XY)-m^{\prime }m-m{m}^{\prime }+m{m}^{\prime }=E(XY)-E(X)E(Y).\end{array}$$

Point 3. En utilisant le point 4 et la linéarité de l'espérance, avec $E(aX+bY)=aE(X)+bE(Y)$ :

$$\begin{array}{rl}\mathrm{Cov}(aX+bY,Z)& =E((aX+bY)Z)-E(aX+bY)E(Z)\\ & =aE(XZ)+bE(YZ)-aE(X)E(Z)-bE(Y)E(Z)\\ & =a(E(XZ)-E(X)E(Z))+b(E(YZ)-E(Y)E(Z))\\ & =a\mathrm{Cov}(X,Z)+b\mathrm{Cov}(Y,Z).\end{array}$$

La bilinéarité par rapport à la seconde variable s'en déduit par symétrie. $\square$

Démonstration. L'indépendance donne $E(XY)=E(X)E(Y)$, donc $\mathrm{Cov}(X,Y)=E(XY)-E(X)E(Y)=0$. $\square$

La réciproque est fausse, et le contre-exemple suivant doit être su par cœur.

Variance d'une somme

Démonstration. Cas de deux variables. En utilisant $V(Z)=\mathrm{Cov}(Z,Z)$ puis la bilinéarité et la symétrie de la covariance,

$$\begin{array}{rl}V(X+Y)& =\mathrm{Cov}(X+Y,X+Y)\\ & =\mathrm{Cov}(X,X)+\mathrm{Cov}(X,Y)+\mathrm{Cov}(Y,X)+\mathrm{Cov}(Y,Y)\\ & =V(X)+V(Y)+2\mathrm{Cov}(X,Y).\end{array}$$

Cas général. Posons $S={\sum }_{i=1}^n{X}_i$. La bilinéarité de la covariance, appliquée successivement à chaque argument, donne

$$V(S)=\mathrm{Cov}\left(\sum _{i=1}^n{X}_i,\sum _{j=1}^n{X}_j\right)=\sum _{i=1}^n\sum _{j=1}^n\mathrm{Cov}(X_i,X_j).$$

On isole dans cette somme double les $n$ termes diagonaux $i=j$, qui valent $\mathrm{Cov}(X_i,X_i)=V(X_i)$, et l'on regroupe les termes hors diagonale par paires : pour $i\ne j$, les deux termes $\mathrm{Cov}(X_i,X_j)$ et $\mathrm{Cov}(X_j,X_i)$ sont égaux par symétrie. D'où

$$V(S)=\sum _{i=1}^{n}V(X_i)+2\sum _{1⩽i<j⩽n}\mathrm{Cov}(X_i,X_j).$$

Cas décorrélé. Si $\mathrm{Cov}(X_i,X_j)=0$ pour tous $i\ne j$, la seconde somme est nulle. Et si les $X_i$ sont indépendantes, toute sous-famille l'est, en particulier chaque paire $(X_i,X_j)$, donc chaque covariance est nulle d'après la propriété précédente. $\square$

Contrairement à l'espérance, la variance ne s'ajoute pas sans hypothèse. Écrire $V(X+Y)=V(X)+V(Y)$ suppose la décorrélation, et il faut la justifier. Notons d'ailleurs, en guise de garde-fou, que $V(X+X)=V(2X)=4V(X)$ et non $2V(X)$.

Démonstration. La variable $X$ a la même loi que $S=X_1+\cdots +X_n$, où $X_1,\dots ,X_n$ sont indépendantes de loi $\mathcal{B}(p)$, d'après le théorème sur la somme de Bernoulli. La variance ne dépendant que de la loi, il suffit de calculer $V(S)$. Les $X_i$ étant indépendantes, elles sont deux à deux décorrélées, donc les variances s'ajoutent :

$$V(X)=V(S)=\sum _{i=1}^{n}V(X_i)=\sum _{i=1}^{n}p(1-p)=np(1-p).\square$$

Inégalités probabilistes et loi faible des grands nombres

Inégalité de Markov

Démonstration. Notons $A=(X⩾a)$ et considérons la variable aléatoire $a{1}_A$. Montrons l'inégalité $a{1}_A⩽X$, issue par issue.

Soit $\omega \in \Omega$. Si $\omega \in A$, alors $1_A(\omega )=1$ et $X(\omega )⩾a$ par définition de $A$, donc $a{1}_A(\omega )=a⩽X(\omega )$. Si $\omega \notin A$, alors $a{1}_A(\omega )=0⩽X(\omega )$ puisque $X$ est positive. L'inégalité est donc vraie partout.

Par croissance puis linéarité de l'espérance, et en utilisant $E(1_A)=P(A)$,

$$aP(X⩾a)=E\left(a{1}_A\right)⩽E(X).$$

Comme $a>0$, on peut diviser par $a$ sans changer le sens de l'inégalité, ce qui donne le résultat. $\square$

Inégalité de Bienaymé-Tchebychev

Démonstration. Posons $Y=(X-m{)}^2$. C'est une variable aléatoire positive, d'espérance $E(Y)=V(X)$ par définition de la variance. Comme $\epsilon >0$, on a l'équivalence, valable pour toute issue,

$$|X-m|⩾\epsilon ⟺(X-m{)}^2⩾{\epsilon }^2,$$

la fonction carré étant croissante sur ${\mathbb{R}}^{+}$ ; les deux événements $(|X-m|⩾\epsilon )$ et $(Y⩾{\epsilon }^2)$ sont donc égaux. L'inégalité de Markov appliquée à la variable positive $Y$ avec le seuil $a={\epsilon }^2>0$ donne alors

$$P(|X-m|⩾\epsilon )=P(Y⩾{\epsilon }^2)⩽\frac{E(Y)}{{\epsilon }^2}=\frac{V(X)}{{\epsilon }^2}.\square$$

Qualité des majorations

Ces deux inégalités partagent une même caractéristique, qui est à la fois leur force et leur faiblesse : elles n'utilisent presque rien de la loi de $X$, seulement son espérance pour Markov, son espérance et sa variance pour Bienaymé-Tchebychev. Elles sont donc universelles, applicables sans jamais calculer une loi, ce qui est exactement ce dont on a besoin pour démontrer un théorème général comme la loi des grands nombres. En contrepartie, sur un exemple précis, elles sont souvent très pessimistes.

Notons aussi que Markov ne dit rien lorsque $a⩽E(X)$, puisque la majoration dépasse alors $1$, et que Bienaymé-Tchebychev ne dit rien lorsque $\epsilon ⩽\sigma (X)$, pour la même raison. Ces inégalités ne deviennent informatives qu'à partir d'un écart de plusieurs écarts types.

Loi faible des grands nombres

Démonstration. Espérance. Par linéarité de l'espérance, sans aucune hypothèse d'indépendance,

$$E(M_n)=\frac{1}{n}\sum _{i=1}^{n}E(X_i)=\frac{1}{n}\times nm=m.$$

Variance. Les $X_i$ étant indépendantes, elles sont deux à deux décorrélées, donc les variances s'ajoutent :

$$V\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}V(X_i)=n{\sigma }^2.$$

La formule $V(aX)=a^{2}V(X)$, appliquée avec $a=\frac{1}{n}$, donne alors

$$V(M_n)=\frac{1}{n^2}\times n{\sigma }^2=\frac{{\sigma }^2}{n}.$$

Majoration. La variable $M_n$ a pour espérance $m$ et pour variance $\frac{{\sigma }^2}{n}$ ; l'inégalité de Bienaymé-Tchebychev appliquée à $M_n$ donne directement, pour tout $\epsilon >0$,

$$P(|M_n-m|⩾\epsilon )⩽\frac{V(M_n)}{{\epsilon }^2}=\frac{{\sigma }^2}{n{\epsilon }^2}.\square$$

Le contenu du théorème tient dans le facteur $\frac{1}{n}$ : à précision $\epsilon$ fixée, la probabilité d'un écart d'au moins $\epsilon$ entre la moyenne observée et l'espérance est majorée par une quantité qui tend vers $0$ lorsque $n$ augmente, et qui est explicitement calculable. C'est ce caractère explicite, non asymptotique, qui rend l'énoncé utilisable en pratique : il ne dit pas seulement que « ça finit par marcher », il dit à partir de quel $n$.

Interprétation fréquentiste et taille d'échantillon

Démonstration. Les $X_i$ sont indépendantes de même loi $\mathcal{B}(p)$, d'espérance $p$ et de variance $p(1-p)$. La loi faible des grands nombres appliquée à ces variables donne la première majoration.

Pour la seconde, il suffit de montrer que $p(1-p)⩽\frac{1}{4}$ pour tout $p\in [0,1]$. Or

$$\frac{1}{4}-p(1-p)=\frac{1}{4}-p+p^2={\left(p-\frac{1}{2}\right)}^2⩾0,$$

ce qui donne bien $p(1-p)⩽\frac{1}{4}$, avec égalité si et seulement si $p=\frac{1}{2}$. $\square$

Voilà enfin la justification de l'intuition fréquentiste avec laquelle nous avons ouvert le chapitre. Répétez un grand nombre de fois, indépendamment, une même expérience : la fréquence d'apparition de l'événement $A$ s'écarte de $P(A)$ de plus de $\epsilon$ avec une probabilité majorée par $\frac{1}{4n{\epsilon }^2}$, quantité aussi petite qu'on veut pourvu que $n$ soit grand. La probabilité, définie au début comme une masse abstraite répartie sur un univers, se manifeste donc bien, sur le long terme, comme une fréquence observable. Notons que la majoration $\frac{1}{4n{\epsilon }^2}$ ne dépend plus de $p$ : elle est utilisable même lorsque la valeur de $p$ est inconnue, ce qui est précisément la situation d'un sondage.

Méthodes et pièges

Choisir son univers

Conditionner ou dénombrer

Face à un tirage sans remise, deux voies s'offrent, également correctes. Le dénombrement convient quand l'événement se décrit par une composition finale (« exactement deux rouges ») : on compte des parties et l'on divise. Le conditionnement convient quand l'événement se décrit par une chronologie (« la première est rouge et la deuxième verte ») : on multiplie les probabilités successives, la composition de l'urne évoluant à chaque tirage. Nous avons vu les deux donner $\frac{5}{28}$ sur le même exemple. Le conditionnement devient obligatoire dès que l'expérience comporte des étapes de nature différente (on choisit d'abord une urne, puis on y tire une boule), car il n'y a plus alors d'univers uniforme naturel : c'est le domaine des arbres et de la formule des probabilités totales.

Passer au complémentaire

Utiliser les indicatrices

Trois signaux indiquent que la méthode des indicatrices est la bonne : la variable compte quelque chose ; sa loi paraît difficile ou fastidieuse ; on ne demande que l'espérance. Dans ce cas, écrire $X={\sum }_i{1}_{A_i}$, appliquer la linéarité, calculer chaque $P(A_i)$. Rappelons que l'indépendance n'est jamais requise. Si en revanche l'énoncé demande la variance d'une telle somme, l'indépendance ou au moins la décorrélation devient nécessaire, sans quoi il faut calculer toutes les covariances $\mathrm{Cov}(1_{A_i},1_{A_j})$.

Reconnaître une loi binomiale

Les trois pièges classiques correspondent chacun à la violation d'une de ces conditions.

Piège 1 : épreuves non indépendantes. Si le résultat d'une épreuve influence la suivante (une machine qui s'échauffe, un joueur qui apprend, un composant dont la panne surcharge les autres), la loi n'est pas binomiale, même si chaque épreuve est bien à deux issues.

Piège 2 : probabilité de succès variable. Si $p$ change d'une épreuve à l'autre, la somme des indicatrices reste une variable parfaitement définie, d'espérance $\sum p_i$ par linéarité, mais sa loi n'est pas binomiale.

Piège 3 : tirage sans remise. C'est le piège le plus fréquent. Un tirage sans remise viole à la fois l'indépendance et la constance de $p$, puisque la composition de l'urne évolue.

Erreurs classiques

Confondre incompatible et indépendant. Deux événements incompatibles de probabilités non nulles sont dépendants au plus haut point. « Incompatible » se traduit par $A\cap B=\varnothing$, « indépendant » par $P(A\cap B)=P(A)P(B)$ : rien à voir.

Oublier de vérifier $P(B)>0$ avant d'écrire $P_B$. Le quotient n'existe pas sinon. De même, la formule des probabilités totales dans sa forme usuelle exige $P(A_i)>0$ pour tout $i$ ; à défaut, il faut invoquer la version avec convention.

Écrire $E(XY)=E(X)E(Y)$ sans indépendance. L'égalité est fausse en général : elle équivaut exactement à $\mathrm{Cov}(X,Y)=0$. Ne l'utiliser qu'après avoir énoncé et justifié l'indépendance.

Croire que décorrélé implique indépendant. La covariance ne capte que la partie affine du lien. Le couple $(X,X^2)$ avec $X$ uniforme sur $\{-1,0,1\}$ est décorrélé et pourtant l'une des variables est fonction de l'autre.

Additionner les variances sans hypothèse. $V(X+Y)=V(X)+V(Y)+2\mathrm{Cov}(X,Y)$ ; le terme croisé ne disparaît que si les variables sont décorrélées.

Appliquer une formule de crible. Pour trois événements ou plus, aucune formule d'inclusion-exclusion n'est disponible en PCSI : complémentaire, découpage disjoint, ou majoration.

Confondre $E(X^2)$ et $E(X{)}^2$. Leur différence est la variance, qui est nulle seulement pour une variable presque sûrement constante.

Oublier le contrôle final. Une loi doit sommer à $1$, une probabilité doit appartenir à $[0,1]$, une variance doit être positive, et une espérance doit tomber entre la plus petite et la plus grande valeur de la variable. Ces quatre vérifications coûtent trente secondes et détectent la grande majorité des erreurs de calcul.