Probabilités

Il y a des expériences dont on ne sait pas prédire le résultat, et pourtant on sait en dire quelque chose. Personne ne peut annoncer la face que montrera un dé, mais tout le monde sait que sur un grand nombre de lancers le six sortira à peu près une fois sur six. Personne ne peut dire si tel patient est malade, mais un laboratoire sait qu'un test se trompe dans deux cas sur cent. Cette double situation, incertitude sur l'issue et régularité sur la masse, est exactement ce que ce chapitre se propose de mettre en équations. L'objet mathématique que nous allons construire ne cherche pas à deviner le résultat d'une expérience : il cherche à répartir une masse totale égale à $1$ entre tous les résultats possibles, et à en tirer des conséquences chiffrées.

Le mot « probabilité » va donc changer de sens. Dans le langage courant, il désigne un degré de croyance, plus ou moins argumenté. Ici, il désignera une application : une application qui, à chaque partie de l'ensemble des résultats possibles, associe un nombre compris entre $0$ et $1$, avec une seule exigence de fond, l'additivité sur les événements qui ne peuvent pas se produire ensemble. Rien de plus. Toute la théorie que vous allez lire sort de cette unique exigence, et c'est l'un des faits les plus remarquables du chapitre : deux axiomes d'une ligne suffisent à produire la formule de Bayes, l'espérance, la variance et la loi des grands nombres. Nous ne dirons jamais ce qu'est le hasard ; nous dirons comment se calcule une masse.

Une restriction gouverne tout le chapitre : l'ensemble des résultats possibles est fini. Ce choix n'est pas une commodité de rédaction, c'est ce qui rend la théorie élémentaire. Sur un ensemble fini, toute somme est une somme finie, donc elle se calcule sans discussion, et l'on peut affecter une masse à toutes les parties sans exception, sans avoir à trier celles auxquelles on aurait le droit d'en attribuer une. Le prix à payer doit être annoncé franchement, car il est réel : nous ne saurons pas modéliser dans ce chapitre l'expérience « je lance une pièce jusqu'à obtenir pile », dont les résultats possibles forment un ensemble infini, ni aucune grandeur qui varie continûment comme une durée d'attente ou une taille. Ces situations existent, elles se traitent, mais elles demandent des outils que vous n'avez pas encore, et elles seront reprises en seconde année.

Le lien avec le chapitre précédent est immédiat. Lorsque toutes les issues jouent le même rôle, ce qui est le cas d'un dé équilibré, d'un tirage de cartes bien battues ou d'un choix « au hasard » dans une population, la masse se répartit uniformément, et calculer une probabilité revient exactement à compter : nombre de cas favorables sur nombre de cas possibles. Tous les outils du dénombrement, listes, arrangements, combinaisons, principe d'addition et de multiplication, deviennent donc des outils de calcul de probabilités. La difficulté ne change pas de nature pour autant : elle reste le choix du modèle, et vous verrez qu'une même question admet souvent un modèle ordonné et un modèle non ordonné, tous deux corrects, à condition de ne pas les mélanger en cours de route.

La vraie rupture du chapitre est ailleurs, et elle intervient au milieu : c'est la variable aléatoire. Jusque-là, nous regardons des issues et des événements, c'est-à-dire des objets de nature ensembliste, souvent encombrants à décrire. À partir de la quatrième section, nous cessons de regarder les issues et nous regardons les nombres qu'on en tire : le gain d'un joueur, le nombre de succès dans une série d'essais, la durée d'un trajet, la somme de deux dés. Une variable aléatoire n'est rien d'autre qu'une application de l'univers dans $\mathbb{R}$, mais ce changement de point de vue est décisif, car les nombres, eux, s'additionnent, se multiplient et se comparent. On peut faire de l'algèbre sur les variables aléatoires, alors qu'on ne peut pas faire d'algèbre sur les issues.

Cette algèbre culmine dans une propriété d'apparence anodine, et qui est en réalité l'outil le plus puissant que vous rencontrerez ici : l'espérance est linéaire. L'espérance d'une somme est la somme des espérances, toujours, sans aucune hypothèse d'indépendance, même lorsque les variables sont fortement liées entre elles. Cette absence d'hypothèse est ce qui rend la propriété si efficace. Elle donne naissance à une méthode générale, la méthode des indicatrices : pour calculer la valeur moyenne d'un nombre d'objets vérifiant une condition, on écrit ce nombre comme une somme de variables valant $1$ ou $0$ selon que la condition est remplie ou non, et l'espérance cherchée devient une simple somme de probabilités. Vous verrez cette méthode répondre en trois lignes à des questions dont le calcul direct de la loi serait décourageant.

Le plan suit cette progression. Les trois premières sections construisent le cadre : espaces probabilisés finis et propriétés d'une probabilité, puis conditionnement, avec les trois formules qui l'accompagnent, enfin indépendance. Les trois suivantes installent les variables aléatoires : définition et loi, lois usuelles, couples de variables. Les deux dernières sections théoriques sont consacrées aux deux nombres qui résument une variable, l'espérance et la variance, puis aux inégalités qui les relient à des probabilités, ce qui débouche sur la loi faible des grands nombres, seul théorème du chapitre à justifier l'intuition fréquentiste dont nous sommes partis. Une section de méthodes ferme le chapitre.

Les notations sont fixées une fois pour toutes. L'univers est noté $\Omega$, ses éléments, les issues, sont notés $\omega$, et les événements reçoivent les lettres $A$, $B$, $C$ ; l'événement contraire de $A$ est $\overline{A}$, l'événement impossible est $\varnothing$, et $\mathcal{P}(\Omega )$ désigne l'ensemble des parties de $\Omega$. La probabilité est notée $P$, et la probabilité conditionnelle de $B$ sachant $A$ est notée $P_A(B)$ ; signalons une fois pour toutes que de nombreux ouvrages écrivent $P(B\mid A)$ pour la même quantité, notation que nous n'utiliserons plus ensuite. Un système complet d'événements est noté $(A_i{)}_{1⩽i⩽n}$, l'intervalle d'entiers de $1$ à $n$ est $[[1,n]]$, le cardinal d'un ensemble fini $A$ est $\mathrm{card}(A)$, et le coefficient binomial est $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$. Une variable aléatoire est notée par une majuscule $X$, $Y$, $Z$, son ensemble de valeurs est $X(\Omega )$, et l'événement « $X$ prend la valeur $k$ » s'écrit $(X=k)$, sa probabilité $P(X=k)$ ; l'indicatrice d'un événement $A$ est $1_A$. Les trois lois usuelles se notent $X\sim \mathcal{U}(E)$ pour la loi uniforme sur un ensemble fini $E$, $X\sim \mathcal{B}(p)$ pour la loi de Bernoulli de paramètre $p$ et $X\sim \mathcal{B}(n,p)$ pour la loi binomiale de paramètres $n$ et $p$. Enfin l'espérance est notée $E(X)$, la variance $V(X)$, l'écart-type $\sigma (X)$, la covariance $\mathrm{Cov}(X,Y)$ et le coefficient de corrélation $\rho (X,Y)$. Les inégalités larges sont écrites $⩽$ et $⩾$, et chaque démonstration se termine par le symbole $\square$.

Espaces probabilisés finis

Univers, issues, événements

Le vocabulaire probabiliste n'est qu'une traduction du vocabulaire ensembliste, et il est indispensable de savoir passer instantanément de l'un à l'autre : c'est ce passage qui transforme un énoncé rédigé en français en un calcul.

Probabilité sur un univers fini

Démonstration. Par récurrence sur $n$. Pour $n=1$ l'égalité est triviale, et pour $n=2$ c'est exactement l'axiome d'additivité.

Soit $n⩾2$ ; supposons la propriété vraie pour toute famille de $n$ événements deux à deux incompatibles, et soit $(A_1,\dots ,A_{n+1})$ une famille de $n+1$ tels événements. Posons $B={\bigcup }_{i=1}^n{A}_i$. Les événements $B$ et $A_{n+1}$ sont incompatibles : si une issue $\omega$ appartenait à $B\cap A_{n+1}$, elle appartiendrait à un certain $A_i$ avec $i⩽n$ et à $A_{n+1}$, donc à $A_i\cap A_{n+1}=\varnothing$, ce qui est absurde. L'axiome d'additivité donne alors

$$P\left(\bigcup _{i=1}^{n+1}{A}_i\right)=P(B\cup A_{n+1})=P(B)+P(A_{n+1}),$$

et l'hypothèse de récurrence, appliquée à $(A_1,\dots ,A_n)$, donne $P(B)={\sum }_{i=1}^{n}P(A_i)$. D'où le résultat au rang $n+1$.

Enfin, si la famille est un système complet, sa réunion est $\Omega$ et la somme des $P(A_i)$ vaut $P(\Omega )=1$. $\square$

Démonstration. Point 1. Les événements $\Omega$ et $\varnothing$ sont incompatibles et leur réunion vaut $\Omega$, donc l'additivité donne $P(\Omega )=P(\Omega )+P(\varnothing )$, d'où $P(\varnothing )=0$. Point 2. Les événements $A$ et $\overline{A}$ sont incompatibles et leur réunion est $\Omega$, donc $P(A)+P\left(\overline{A}\right)=P(\Omega )=1$. Point 3. Décomposons $B$ selon que $A$ est réalisé ou non :

$$B=(B\cap A)\cup (B\cap \overline{A})=(A\cap B)\cup (B\setminus A),$$

et ces deux événements sont incompatibles, puisque le premier est inclus dans $A$ et le second dans $\overline{A}$. L'additivité donne $P(B)=P(A\cap B)+P(B\setminus A)$, d'où le résultat. Point 4. Si $A\subset B$, alors $A\cap B=A$, et le point 3 donne $P(B\setminus A)=P(B)-P(A)$ ; or $P(B\setminus A)⩾0$ puisque $P$ est à valeurs dans $[0,1]$, donc $P(A)⩽P(B)$.

Point 5. Décomposons cette fois la réunion en $A\cup B=A\cup (B\setminus A)$, réunion de deux événements incompatibles, le second étant inclus dans $\overline{A}$. Donc $P(A\cup B)=P(A)+P(B\setminus A)$, et le point 3 permet de conclure :

$$P(A\cup B)=P(A)+P(B)-P(A\cap B).$$

Point 6. C'est le point 5 auquel on retranche la quantité positive $P(A\cap B)$. $\square$

Démonstration. Par récurrence sur $n$. Le cas $n=1$ est une égalité. Supposons l'inégalité vraie au rang $n$ et posons $B={\bigcup }_{i=1}^n{A}_i$. La sous-additivité pour deux événements donne

$$P\left(\bigcup _{i=1}^{n+1}{A}_i\right)=P(B\cup A_{n+1})⩽P(B)+P(A_{n+1})⩽\sum _{i=1}^{n}P(A_i)+P(A_{n+1}),$$

la dernière inégalité venant de l'hypothèse de récurrence. C'est l'inégalité au rang $n+1$. $\square$

Une probabilité est déterminée par ses valeurs sur les événements élémentaires

Démonstration. Point 1. Si $A=\varnothing$, les deux membres valent $0$. Sinon, écrivons $A=\{{\omega }_{i_1},\dots ,{\omega }_{i_r}\}$ avec des issues deux à deux distinctes. Alors

$$A=\bigcup _{k=1}^r\left\{{\omega }_{i_k}\right\},$$

et ces $r$ singletons sont deux à deux incompatibles, puisque deux singletons distincts sont disjoints. L'additivité finie établie plus haut donne exactement $P(A)={\sum }_{k=1}^{r}P(\{{\omega }_{i_k}\})$, c'est-à-dire la formule annoncée.

Point 2, unicité. Si $P$ et $P^{\prime }$ sont deux probabilités prenant les mêmes valeurs sur les singletons, le point 1 donne, pour tout événement $A$, $P(A)={\sum }_{\omega \in A}P(\{\omega \})={\sum }_{\omega \in A}{P}^{\prime }(\{\omega \})=P^{\prime }(A)$ : les deux applications coïncident.

Point 2, existence. Définissons $P$ sur $\mathcal{P}(\Omega )$ par

$$P(A)=\sum _{i:{\omega }_i\in A}{p}_i.$$

Cette somme est finie, à termes positifs, donc $P(A)⩾0$ ; et comme les termes omis sont eux aussi positifs, $P(A)⩽{\sum }_{i=1}^N{p}_i=1$. Ainsi $P$ est bien à valeurs dans $[0,1]$, et $P(\Omega )={\sum }_{i=1}^N{p}_i=1$. Vérifions enfin l'additivité. Soient $A$ et $B$ incompatibles, et notons $I$ et $J$ les ensembles d'indices $i$ tels que ${\omega }_i\in A$ et ${\omega }_i\in B$ respectivement. Comme $A\cap B=\varnothing$, les ensembles $I$ et $J$ sont disjoints, et l'ensemble des indices associés à $A\cup B$ est exactement $I\cup J$. La somme sur $I\cup J$ se scinde donc en la somme sur $I$ plus la somme sur $J$ :

$$P(A\cup B)=\sum _{i\in I\cup J}{p}_i=\sum _{i\in I}{p}_i+\sum _{i\in J}{p}_i=P(A)+P(B).$$

L'application $P$ est donc une probabilité, et $P(\{{\omega }_i\})=p_i$ par construction. $\square$

Probabilité uniforme et dénombrement

Démonstration. Le théorème précédent, point 1, donne

$$P(A)=\sum _{\omega \in A}P(\{\omega \})=\sum _{\omega \in A}\frac{1}{N}=\frac{\mathrm{card}(A)}{N},$$

puisque la somme comporte exactement $\mathrm{card}(A)$ termes tous égaux à $1/N$. Il faut encore vérifier que la distribution constante $p_{\omega }=1/N$ est admissible : ses termes sont positifs et leur somme vaut $N\times \frac{1}{N}=1$. $\square$

Probabilités conditionnelles

Définition

Démonstration. Vérifions d'abord que $P_A$ est bien à valeurs dans $[0,1]$. Pour tout événement $B$, on a $A\cap B\subset A$, donc $0⩽P(A\cap B)⩽P(A)$ par croissance ; en divisant par $P(A)>0$, il vient $0⩽P_A(B)⩽1$.

Ensuite $P_A(\Omega )=\frac{P(A\cap \Omega )}{P(A)}=\frac{P(A)}{P(A)}=1$.

Enfin, soient $B$ et $C$ deux événements incompatibles. Les événements $A\cap B$ et $A\cap C$ sont alors eux aussi incompatibles, puisque $(A\cap B)\cap (A\cap C)\subset B\cap C=\varnothing$, et l'on a $A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$ par distributivité. Donc

$$P_A(B\cup C)=\frac{P((A\cap B)\cup (A\cap C))}{P(A)}=\frac{P(A\cap B)+P(A\cap C)}{P(A)}=P_A(B)+P_A(C).$$

Les deux axiomes sont vérifiés : $P_A$ est une probabilité. $\square$

Les trois formules du conditionnement

Démonstration. Observons d'abord que toutes les probabilités conditionnelles écrites ont un sens : pour $k⩽n-1$, on a $A_1\cap \cdots \cap A_{n-1}\subset A_1\cap \cdots \cap A_k$, donc par croissance $P(A_1\cap \cdots \cap A_k)⩾P(A_1\cap \cdots \cap A_{n-1})>0$. Raisonnons ensuite par récurrence sur $n⩾2$.

Initialisation. Pour $n=2$, l'hypothèse est $P(A_1)>0$ et la définition de $P_{A_1}$ donne directement $P(A_1)P_{A_1}(A_2)=P(A_1)\frac{P(A_1\cap A_2)}{P(A_1)}=P(A_1\cap A_2)$.

Hérédité. Soit $n⩾2$ ; supposons la formule vraie pour toute famille de $n$ événements vérifiant l'hypothèse, et soient $A_1,\dots ,A_{n+1}$ tels que $P(A_1\cap \cdots \cap A_n)>0$. Posons $B=A_1\cap \cdots \cap A_n$. Comme $P(B)>0$, la définition de $P_B$ donne

$$P(A_1\cap \cdots \cap A_{n+1})=P(B\cap A_{n+1})=P(B)P_B(A_{n+1}).$$

Par ailleurs, la famille $A_1,\dots ,A_n$ vérifie $P(A_1\cap \cdots \cap A_{n-1})⩾P(B)>0$, donc l'hypothèse de récurrence s'applique et fournit l'expression de $P(B)$ comme produit des $n$ premiers facteurs. En reportant, on obtient la formule au rang $n+1$. $\square$

Démonstration. Décomposons $B$ suivant le système complet. Comme la réunion des $A_i$ vaut $\Omega$, on a

$$B=B\cap \Omega =B\cap \left(\bigcup _{i=1}^n{A}_i\right)=\bigcup _{i=1}^n(B\cap A_i),$$

par distributivité de l'intersection sur la réunion. Ces $n$ événements sont deux à deux incompatibles : pour $i\ne j$, $(B\cap A_i)\cap (B\cap A_j)\subset A_i\cap A_j=\varnothing$. L'additivité finie donne donc

$$P(B)=\sum _{i=1}^{n}P(B\cap A_i).$$

Enfin, chaque $P(A_i)$ étant strictement positif, la définition du conditionnement s'écrit $P(B\cap A_i)=P(A_i)P_{A_i}(B)$, ce qui achève la démonstration. $\square$

Démonstration. Les deux conditionnements sont licites puisque $P(A)$ et $P(B)$ sont non nuls. Écrivons deux fois l'intersection :

$$P(A\cap B)=P(B)P_B(A)\text{et}P(A\cap B)=P(A)P_A(B).$$

Ces deux quantités sont égales, et en divisant par $P(B)>0$ on obtient la première formule. Pour la seconde, on l'applique à $A=A_k$, puis on remplace le dénominateur $P(B)$ par son expression donnée par la formule des probabilités totales appliquée au système complet $(A_i)$. $\square$

Indépendance

Indépendance de deux événements

Démonstration. Comme $P(A)>0$, l'égalité $P(A\cap B)=P(A)P(B)$ équivaut, après division par $P(A)$, à $\frac{P(A\cap B)}{P(A)}=P(B)$, c'est-à-dire à $P_A(B)=P(B)$. $\square$

Démonstration. Décomposons $A$ selon que $B$ est réalisé ou non :

$$A=(A\cap B)\cup (A\cap \overline{B}),$$

réunion de deux événements incompatibles. L'additivité donne $P(A)=P(A\cap B)+P(A\cap \overline{B})$, d'où

$$P(A\cap \overline{B})=P(A)-P(A\cap B)=P(A)-P(A)P(B)=P(A)(1-P(B))=P(A)P\left(\overline{B}\right),$$

en utilisant successivement l'indépendance de $A$ et $B$, puis la probabilité du contraire. Donc $A$ et $\overline{B}$ sont indépendants.

Le deuxième énoncé s'obtient en échangeant les rôles de $A$ et $B$, la définition étant symétrique. Le troisième s'obtient en appliquant le premier résultat au couple $(\overline{A},B)$, déjà connu comme indépendant. $\square$

Indépendance mutuelle d'une famille finie

Démonstration par contre-exemple. On lance deux fois une pièce équilibrée et l'on prend $\Omega =\{P,F{\}}^2$ muni de la probabilité uniforme, chacune des quatre issues ayant donc la probabilité $\frac{1}{4}$. Considérons les trois événements

$$A=\text{« le premier lancer donne pile »},B=\text{« le second lancer donne pile »},C=\text{« les deux lancers donnent le meˆme reˊsultat »}.$$

En écrivant les issues, $A=\{PP,PF\}$, $B=\{PP,FP\}$ et $C=\{PP,FF\}$, chacun de cardinal $2$, donc de probabilité $\frac{1}{2}$. Les intersections deux à deux valent toutes $\{PP\}$ : en effet $A\cap B=\{PP\}$, et $A\cap C=\{PP\}$ puisque la seule issue commençant par pile et formée de deux résultats identiques est $PP$, et de même $B\cap C=\{PP\}$. Chacune a donc pour probabilité $\frac{1}{4}=\frac{1}{2}\times \frac{1}{2}$ : les trois événements sont deux à deux indépendants. Pourtant $A\cap B\cap C=\{PP\}$, de probabilité $\frac{1}{4}$, alors que $P(A)P(B)P(C)=\frac{1}{8}$. Comme $\frac{1}{4}\ne \frac{1}{8}$, la famille $(A,B,C)$ n'est pas mutuellement indépendante. $\square$

Variables aléatoires

Définition et événements associés

Démonstration. Ces événements sont deux à deux incompatibles : si $x\ne y$ et si une issue $\omega$ appartenait à $(X=x)\cap (X=y)$, on aurait $X(\omega )=x$ et $X(\omega )=y$, donc $x=y$, contradiction. Leur réunion est $\Omega$ : pour toute issue $\omega$, le réel $X(\omega )$ appartient par définition à $X(\Omega )$, donc $\omega$ appartient à l'événement $(X=X(\omega ))$, qui fait partie de la famille. $\square$

Loi d'une variable aléatoire

Démonstration. La famille $((X=x_i){)}_{1⩽i⩽r}$ est un système complet d'événements d'après la propriété précédente, donc la somme de ses probabilités vaut $1$. Pour la seconde égalité, décomposons l'événement $(X\in A)$ :

$$(X\in A)=\bigcup _{x\in A\cap X(\Omega )}(X=x).$$

En effet, si $X(\omega )\in A$, alors $X(\omega )$ appartient aussi à $X(\Omega )$, donc $\omega$ figure dans le membre de droite ; la réciproque est immédiate. Cette réunion est formée d'événements deux à deux incompatibles, et l'additivité finie conclut. $\square$

Loi d'une fonction d'une variable aléatoire

Démonstration. L'application $f\circ X$ va bien de $\Omega$ dans $\mathbb{R}$, c'est donc une variable aléatoire, et son ensemble de valeurs est $f(X(\Omega ))$. Fixons $y$ et décomposons l'événement $(f(X)=y)$ suivant la valeur prise par $X$ :

$$(f(X)=y)=\bigcup _{\begin{array}{c}x\in X(\Omega )\\ f(x)=y\end{array}}(X=x).$$

L'inclusion de droite à gauche est claire ; réciproquement, si $f(X(\omega ))=y$, alors $\omega$ appartient à $(X=x)$ pour $x=X(\omega )$, qui vérifie bien $f(x)=y$. Cette réunion est formée d'événements deux à deux incompatibles, et l'additivité finie donne la formule. $\square$

Fonction de répartition et loi d'un maximum

Lois usuelles

Loi uniforme

Loi de Bernoulli et indicatrices

Démonstration. Point 1. L'indicatrice ne prend que les valeurs $0$ et $1$, et l'événement $(1_A=1)$ est exactement $A$, de probabilité $P(A)$. Réciproquement, si $X$ ne prend que les valeurs $0$ et $1$, alors $X$ et $1_{(X=1)}$ coïncident en toute issue. Point 2. Pour toute issue $\omega$, on a $1_{\overline{A}}(\omega )=1$ si et seulement si $\omega \notin A$, c'est-à-dire si et seulement si $1_A(\omega )=0$ : les deux applications $1_{\overline{A}}$ et $1-1_A$ coïncident. Pour la seconde égalité, le produit $1_A(\omega )1_B(\omega )$ vaut $1$ si et seulement si les deux facteurs valent $1$, c'est-à-dire si et seulement si $\omega \in A\cap B$. Point 3. C'est le point 2 appliqué à $B=A$, puisque $A\cap A=A$. $\square$

Loi binomiale

Démonstration. Construisons d'abord le modèle. Une répétition de $n$ épreuves se décrit par la suite de ses résultats, donc on prend

$$\Omega =\{0,1{\}}^n,$$

où la $i$-ième coordonnée vaut $1$ en cas de succès à la $i$-ième épreuve et $0$ sinon. Pour une issue $\omega =({\omega }_1,\dots ,{\omega }_n)$, notons $s(\omega )={\omega }_1+\cdots +{\omega }_n$ le nombre de succès qu'elle réalise. Posons $q=1-p$ et définissons la distribution

$$P(\{\omega \})=p^{s(\omega )}{q}^{n-s(\omega )},$$

ce qui traduit exactement l'indépendance mutuelle des épreuves : la probabilité d'une suite de résultats est le produit des probabilités de ces résultats, soit un facteur $p$ pour chaque succès et un facteur $q$ pour chaque échec.

Vérifions qu'il s'agit bien d'une distribution admissible. Ces nombres sont positifs, et pour calculer leur somme, regroupons les issues selon leur nombre de succès. Pour $k$ fixé, les issues $\omega$ telles que $s(\omega )=k$ sont les suites de $n$ chiffres $0$ ou $1$ comportant exactement $k$ fois le chiffre $1$ : une telle suite est entièrement déterminée par l'ensemble des positions occupées par les $1$, c'est-à-dire par une partie à $k$ éléments de $[[1,n]]$. Il y en a donc exactement $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$, et chacune a la même probabilité $p^k{q}^{n-k}$. D'où

$$\sum _{\omega \in \Omega }P(\{\omega \})=\sum _{k=0}^n\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k}=(p+q{)}^n=1^n=1,$$

par la formule du binôme de Newton, et le théorème de la section 1 assure l'existence d'une unique probabilité $P$ sur $\Omega$ ayant cette distribution. Il ne reste plus qu'à lire le résultat : la variable $X$ est ici l'application $\omega \mapsto s(\omega )$, dont l'ensemble des valeurs est $[[0,n]]$, et l'événement $(X=k)$ est formé des $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$ issues comptées ci-dessus, chacune de probabilité $p^k{q}^{n-k}$, donc

$$P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k}=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}.\square$$

Démonstration. Les deux premières égalités sont la formule générale avec $k=0$ et $k=n$, en utilisant $\left(\genfrac{}{}{0ex}{}{n}{0}\right)=\left(\genfrac{}{}{0ex}{}{n}{n}\right)=1$. La troisième est le passage au contraire, puisque $(X⩾1)$ est le contraire de $(X=0)$. Enfin, pour $n=1$, la formule donne $P(X=1)=p$ et $P(X=0)=1-p$, ce qui est la loi de Bernoulli. $\square$

Couples de variables aléatoires

Loi conjointe, lois marginales, lois conditionnelles

Démonstration. La famille $((Y=y){)}_{y\in Y(\Omega )}$ est un système complet d'événements. En décomposant l'événement $(X=x)$ suivant ce système, comme dans la démonstration de la formule des probabilités totales, on obtient

$$(X=x)=\bigcup _{y\in Y(\Omega )}((X=x)\cap (Y=y)),$$

réunion d'événements deux à deux incompatibles puisque les $(Y=y)$ le sont. L'additivité finie donne la première formule ; la seconde s'obtient en échangeant les rôles de $X$ et $Y$. $\square$

Indépendance de variables aléatoires

Démonstration. Le sens réciproque est immédiat : il suffit d'appliquer l'hypothèse à $A=\{x\}$ et $B=\{y\}$. Sens direct : supposons $X$ et $Y$ indépendantes et fixons $A$ et $B$. En décomposant selon les valeurs prises, comme plus haut, puis en utilisant l'additivité sur les événements deux à deux incompatibles $((X=x)\cap (Y=y))$, on obtient

$$\begin{array}{rl}P((X\in A)\cap (Y\in B))& =\sum _{x\in A\cap X(\Omega )}\sum _{y\in B\cap Y(\Omega )}P(X=x,Y=y)\\ & =\sum _{x\in A\cap X(\Omega )}\sum _{y\in B\cap Y(\Omega )}P(X=x)P(Y=y)\\ & =\left(\sum _{x\in A\cap X(\Omega )}P(X=x)\right)\left(\sum _{y\in B\cap Y(\Omega )}P(Y=y)\right),\end{array}$$

la dernière égalité étant la factorisation d'une somme double dont le terme général est un produit d'un facteur ne dépendant que de $x$ par un facteur ne dépendant que de $y$. Les deux sommes obtenues valent respectivement $P(X\in A)$ et $P(Y\in B)$. $\square$

Démonstration. Soient $u$ une valeur de $f(X)$ et $v$ une valeur de $g(Y)$. Posons $A=\{x\in \mathbb{R}:f(x)=u\}$ et $B=\{y\in \mathbb{R}:g(y)=v\}$, en convenant que $f$ et $g$ sont prolongées arbitrairement hors de leurs ensembles de définition. Alors $(f(X)=u)=(X\in A)$ et $(g(Y)=v)=(Y\in B)$, et la propriété précédente donne

$$P(f(X)=u,g(Y)=v)=P(X\in A)P(Y\in B)=P(f(X)=u)P(g(Y)=v).\square$$

Espérance

Définition et premières propriétés

Démonstration. Partons du membre de droite et regroupons les issues suivant la valeur que $X$ leur attribue. Comme la famille $((X=x){)}_{x\in X(\Omega )}$ est un système complet d'événements, chaque issue appartient à un et un seul de ces événements, et la somme sur $\Omega$ se scinde en une somme de sommes :

$$\sum _{\omega \in \Omega }X(\omega )P(\{\omega \})=\sum _{x\in X(\Omega )}\sum _{\omega \in (X=x)}X(\omega )P(\{\omega \}).$$

Dans la somme intérieure, toutes les issues vérifient $X(\omega )=x$, donc le facteur $X(\omega )$ est la constante $x$, que l'on sort : ${\sum }_{\omega \in (X=x)}X(\omega )P(\{\omega \})=x{\sum }_{\omega \in (X=x)}P(\{\omega \})=xP(X=x)$, la dernière égalité étant le théorème de la section 1 appliqué à l'événement $(X=x)$. En reportant, on obtient exactement ${\sum }_{x}xP(X=x)=E(X)$. $\square$

Démonstration. Appliquons la propriété précédente à la variable aléatoire $f(X)$ :

$$E(f(X))=\sum _{\omega \in \Omega }f(X(\omega ))P(\{\omega \}).$$

Regroupons de nouveau les issues suivant la valeur de $X$ : sur l'événement $(X=x)$, le facteur $f(X(\omega ))$ vaut la constante $f(x)$, donc

$$E(f(X))=\sum _{x\in X(\Omega )}f(x)\sum _{\omega \in (X=x)}P(\{\omega \})=\sum _{x\in X(\Omega )}f(x)P(X=x).$$

Pour la version à deux variables, on procède exactement de même, en regroupant cette fois les issues suivant la valeur du couple, c'est-à-dire selon le système complet $((X=x)\cap (Y=y){)}_{(x,y)}$. $\square$

Linéarité, positivité, indicatrices

Démonstration. Point 1. C'est ici que l'expression de l'espérance sur les issues montre toute son utilité, car la somme y porte sur un ensemble d'indices, $\Omega$, qui ne dépend pas de la variable considérée. Les trois variables $X$, $Y$ et $aX+bY$ sont définies sur le même $\Omega$, et pour toute issue $\omega$ on a $(aX+bY)(\omega )=aX(\omega )+bY(\omega )$. Donc

$$\begin{array}{rl}E(aX+bY)& =\sum _{\omega \in \Omega }(aX(\omega )+bY(\omega ))P(\{\omega \})\\ & =a\sum _{\omega \in \Omega }X(\omega )P(\{\omega \})+b\sum _{\omega \in \Omega }Y(\omega )P(\{\omega \})\\ & =aE(X)+bE(Y),\end{array}$$

par linéarité de la somme finie. Aucune hypothèse d'indépendance n'a été utilisée, et c'est le point capital.

Point 2. Si $X$ est constante égale à $c$, alors $X(\Omega )=\{c\}$ et $P(X=c)=1$, donc $E(X)=c$. En appliquant le point 1 à $X$ et à la variable constante $E(X)$, avec $a=1$ et $b=-1$, on obtient $E(X-E(X))=E(X)-E(X)=0$. Point 3. Si $X⩾0$, toutes les valeurs $x\in X(\Omega )$ sont positives, et les probabilités $P(X=x)$ aussi : $E(X)$ est une somme de termes positifs. Point 4. La variable $Y-X$ est positive, donc $E(Y-X)⩾0$ par le point 3, et la linéarité donne $E(Y)-E(X)⩾0$. Point 5. L'indicatrice suit la loi $\mathcal{B}(P(A))$, donc

$$E\left(1_A\right)=0\times P(1_A=0)+1\times P(1_A=1)=P(A).\square$$

Espérance des lois usuelles

Démonstration. Point 1. La loi étant uniforme,

$$E(X)=\sum _{k=1}^{n}k\times \frac{1}{n}=\frac{1}{n}\sum _{k=1}^{n}k=\frac{1}{n}\times \frac{n(n+1)}{2}=\frac{n+1}{2}.$$

Point 2. Directement, $E(X)=0\times (1-p)+1\times p=p$.

Point 3, première méthode : le pivot. Posons $q=1-p$. Par définition,

$$E(X)=\sum _{k=0}^{n}k\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k}=\sum _{k=1}^{n}k\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k},$$

le terme $k=0$ étant nul. La formule du pivot, établie au chapitre de dénombrement, donne $k\left(\genfrac{}{}{0ex}{}{n}{k}\right)=n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)$ pour $k⩾1$. Donc

$$E(X)=\sum _{k=1}^{n}n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)p^k{q}^{n-k}=np\sum _{k=1}^n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)p^{k-1}{q}^{n-k},$$

où l'on a sorti un facteur $n$ et un facteur $p$. Le changement d'indice $j=k-1$, licite car $j$ décrit $[[0,n-1]]$ quand $k$ décrit $[[1,n]]$, donne

$$E(X)=np\sum _{j=0}^{n-1}\left(\genfrac{}{}{0ex}{}{n-1}{j}\right)p^j{q}^{(n-1)-j}=np(p+q{)}^{n-1}=np,$$

par la formule du binôme et $p+q=1$.

Point 3, seconde méthode : la somme d'indicatrices. Reprenons le modèle $\Omega =\{0,1{\}}^n$ de la construction de la loi binomiale, et notons $X_i$ la $i$-ième coordonnée, c'est-à-dire l'indicatrice de l'événement « la $i$-ième épreuve est un succès ». Chaque $X_i$ suit la loi $\mathcal{B}(p)$, donc $E(X_i)=p$, et par construction

$$X=X_1+X_2+\cdots +X_n.$$

La linéarité de l'espérance donne alors immédiatement $E(X)={\sum }_{i=1}^{n}p=np$. $\square$

La méthode des indicatrices

Espérance d'un produit

Démonstration. Appliquons la formule de transfert au couple $(X,Y)$ avec $g(x,y)=xy$ :

$$E(XY)=\sum _{x\in X(\Omega )}\sum _{y\in Y(\Omega )}xyP(X=x,Y=y).$$

L'indépendance permet de remplacer $P(X=x,Y=y)$ par $P(X=x)P(Y=y)$, d'où

$$E(XY)=\sum _{x\in X(\Omega )}\sum _{y\in Y(\Omega )}(xP(X=x))(yP(Y=y)).$$

Le terme général est le produit d'un facteur ne dépendant que de $x$ par un facteur ne dépendant que de $y$ : la somme double se factorise en

$$E(XY)=\left(\sum _{x\in X(\Omega )}xP(X=x)\right)\left(\sum _{y\in Y(\Omega )}yP(Y=y)\right)=E(X)E(Y).\square$$

Variance, écart-type, covariance

Variance et écart-type

Démonstration. Posons $m=E(X)$, qui est un réel fixé. Développons le carré, ce qui est licite issue par issue :

$$(X-m{)}^2=X^2-2mX+m^2.$$

La linéarité de l'espérance, appliquée à cette combinaison linéaire des variables $X^2$, $X$ et de la variable constante $1$, donne

$$V(X)=E\left(X^2\right)-2mE(X)+m^2=E\left(X^2\right)-2m^2+m^2=E\left(X^2\right)-m^2.\square$$

Démonstration. La linéarité donne $E(aX+b)=aE(X)+b$, donc

$$(aX+b)-E(aX+b)=aX+b-aE(X)-b=a(X-E(X)).$$

En élevant au carré, il vient $((aX+b)-E(aX+b){)}^2=a^2(X-E(X){)}^2$, et l'espérance, qui est linéaire, laisse sortir la constante $a^2$ :

$$V(aX+b)=a^{2}E\left(\right(X-E(X){)}^2)=a^{2}V(X).$$

En prenant la racine carrée, et puisque $\sqrt{a^2}=|a|$, on obtient l'expression de l'écart-type. $\square$

Démonstration. La positivité résulte de celle de l'espérance, appliquée à la variable $(X-E(X){)}^2$, qui est un carré donc positive. Posons $m=E(X)$ et utilisons la formule de transfert :

$$V(X)=\sum _{x\in X(\Omega )}(x-m{)}^{2}P(X=x).$$

C'est une somme finie de termes positifs. Elle est donc nulle si et seulement si chacun de ses termes l'est, c'est-à-dire si et seulement si, pour tout $x\in X(\Omega )$, on a $x=m$ ou $P(X=x)=0$. Dans ce cas, la somme des $P(X=x)$ pour $x\ne m$ est nulle, et comme la somme totale vaut $1$, il reste $P(X=m)=1$. Réciproquement, si $P(X=m)=1$, tous les autres termes sont nuls et celui d'indice $m$ aussi, donc $V(X)=0$. Enfin, $X^{\ast }$ est de la forme $aX+b$ avec $a=\frac{1}{\sigma (X)}$ et $b=-\frac{m}{\sigma (X)}$, donc $E(X^{\ast })=\frac{m-m}{\sigma (X)}=0$ et $V(X^{\ast })=\frac{1}{\sigma (X{)}^2}V(X)=1$. $\square$

Variance des lois usuelles

Démonstration. Point 1. Par transfert, puis avec la somme des carrés des $n$ premiers entiers,

$$E\left(X^2\right)=\sum _{k=1}^n{k}^2\times \frac{1}{n}=\frac{1}{n}\times \frac{n(n+1)(2n+1)}{6}=\frac{(n+1)(2n+1)}{6}.$$

La formule de Koenig-Huygens et $E(X)=\frac{n+1}{2}$ donnent alors

$$V(X)=\frac{(n+1)(2n+1)}{6}-\frac{(n+1{)}^2}{4}=\frac{n+1}{12}(2(2n+1)-3(n+1))=\frac{(n+1)(n-1)}{12}=\frac{n^2-1}{12}.$$

Point 2. Comme $X$ ne prend que les valeurs $0$ et $1$, on a $X^2=X$, donc $E(X^2)=E(X)=p$ et $V(X)=p-p^2=p(1-p)$.

Point 3. Posons $q=1-p$ et calculons d'abord $E(X(X-1))$ par transfert. Pour $k⩾2$, deux applications de la formule du pivot donnent

$$k(k-1)\left(\genfrac{}{}{0ex}{}{n}{k}\right)=(k-1)n\left(\genfrac{}{}{0ex}{}{n-1}{k-1}\right)=n(n-1)\left(\genfrac{}{}{0ex}{}{n-2}{k-2}\right).$$

Les termes d'indices $k=0$ et $k=1$ étant nuls, il vient

$$E(X(X-1))=\sum _{k=2}^{n}n(n-1)\left(\genfrac{}{}{0ex}{}{n-2}{k-2}\right)p^k{q}^{n-k}=n(n-1)p^2\sum _{j=0}^{n-2}\left(\genfrac{}{}{0ex}{}{n-2}{j}\right)p^j{q}^{(n-2)-j}=n(n-1)p^2,$$

après le changement d'indice $j=k-2$ et la formule du binôme. La linéarité donne alors $E(X^2)=E(X(X-1))+E(X)=n(n-1)p^2+np$, d'où

$$V(X)=n(n-1)p^2+np-(np{)}^2=n^2{p}^2-n{p}^2+np-n^2{p}^2=np(1-p).\square$$

Covariance

Démonstration. Point 1. Posons $m=E(X)$ et $m^{\prime }=E(Y)$, deux réels. Développons le produit issue par issue :

$$(X-m)(Y-m^{\prime })=XY-m^{\prime }X-mY+m{m}^{\prime }.$$

La linéarité de l'espérance donne

$$\mathrm{Cov}(X,Y)=E(XY)-m^{\prime }E(X)-mE(Y)+m{m}^{\prime }=E(XY)-m^{\prime }m-m{m}^{\prime }+m{m}^{\prime }=E(XY)-m{m}^{\prime }.$$

Point 2. Avec $Y=X$, la définition redonne exactement celle de la variance, et la symétrie est évidente sur la définition, le produit de deux réels étant commutatif. Point 3. Utilisons la forme du point 1 et la linéarité de l'espérance :

$$\begin{array}{rl}\mathrm{Cov}(aX+bY,Z)& =E((aX+bY)Z)-E(aX+bY)E(Z)\\ & =aE(XZ)+bE(YZ)-(aE(X)+bE(Y))E(Z)\\ & =a(E(XZ)-E(X)E(Z))+b(E(YZ)-E(Y)E(Z))\\ & =a\mathrm{Cov}(X,Z)+b\mathrm{Cov}(Y,Z).\end{array}$$

La linéarité par rapport à la seconde variable s'en déduit par symétrie. Point 4. Si $X$ et $Y$ sont indépendantes, alors $E(XY)=E(X)E(Y)$, et le point 1 donne une covariance nulle. $\square$

Variance d'une somme

Démonstration. Posons $S={\sum }_{i=1}^n{X}_i$. D'après le point 2 de la propriété précédente, $V(S)=\mathrm{Cov}(S,S)$, et la bilinéarité permet de développer cette covariance comme on développerait un produit :

$$V(S)=\mathrm{Cov}\left(\sum _{i=1}^n{X}_i,\sum _{j=1}^n{X}_j\right)=\sum _{i=1}^n\sum _{j=1}^n\mathrm{Cov}(X_i,X_j).$$

Séparons les termes diagonaux des autres. Pour $i=j$, on obtient $\mathrm{Cov}(X_i,X_i)=V(X_i)$, ce qui donne la première somme. Pour $i\ne j$, les couples $(i,j)$ et $(j,i)$ apparaissent tous les deux et contribuent de façon égale, par symétrie de la covariance : leur contribution totale est $2\mathrm{Cov}(X_i,X_j)$ pour chaque paire $\{i,j\}$ avec $i<j$. D'où la formule. Si enfin les variables sont deux à deux indépendantes, toutes les covariances d'indices distincts sont nulles, et il ne reste que la somme des variances. $\square$

Coefficient de corrélation

Démonstration. Pour tout réel $t$, la variable $X+tY$ a une variance positive, et la formule de la variance d'une somme donne

$$0⩽V(X+tY)=V(X)+2t\mathrm{Cov}(X,Y)+t^{2}V(Y),$$

en utilisant $V(tY)=t^{2}V(Y)$ et $\mathrm{Cov}(X,tY)=t\mathrm{Cov}(X,Y)$. Le membre de droite est un trinôme du second degré en $t$, de coefficient dominant $V(Y)>0$, qui reste positif ou nul pour toute valeur de $t$. Son discriminant est donc négatif ou nul :

$$4\mathrm{Cov}(X,Y{)}^2-4V(X)V(Y)⩽0,$$

c'est-à-dire $\mathrm{Cov}(X,Y{)}^2⩽V(X)V(Y)=\sigma (X{)}^2\sigma (Y{)}^2$. En prenant la racine carrée, on obtient l'inégalité annoncée, et la définition de $\rho$ donne alors $|\rho (X,Y)|⩽1$. $\square$

Inégalités et loi faible des grands nombres

Inégalité de Markov

Démonstration. Toutes les valeurs de $X$ sont positives. Partageons la somme définissant l'espérance selon que la valeur est ou non supérieure ou égale à $a$ :

$$E(X)=\sum _{x\in X(\Omega )}xP(X=x)=\sum _{\begin{array}{c}x\in X(\Omega )\\ x<a\end{array}}xP(X=x)+\sum _{\begin{array}{c}x\in X(\Omega )\\ x⩾a\end{array}}xP(X=x).$$

La première somme est positive, comme somme de termes positifs, donc on la minore par $0$, ce qui donne $E(X)⩾{\sum }_{x⩾a}xP(X=x)$. Dans la somme restante, chaque valeur $x$ vérifie $x⩾a$, donc chaque terme se minore par $aP(X=x)$ :

$$E(X)⩾a\sum _{\begin{array}{c}x\in X(\Omega )\\ x⩾a\end{array}}P(X=x)=aP(X⩾a),$$

la dernière égalité étant la décomposition de l'événement $(X⩾a)$ suivant les valeurs de $X$. Comme $a>0$, on peut diviser. $\square$

Inégalité de Bienaymé-Tchebychev

Démonstration. Posons $Y=(X-E(X){)}^2$. C'est une variable aléatoire positive, d'espérance $E(Y)=V(X)$ par définition de la variance. Comme $a>0$, l'équivalence $|u|⩾a⟺u^2⩾a^2$, valable pour tout réel $u$, donne l'égalité d'événements

$$\left(\right|X-E(X)|⩾a)=(Y⩾a^2),$$

et l'inégalité de Markov appliquée à $Y$ et au seuil $a^2>0$ donne alors

$$P\left(\right|X-E(X)|⩾a)=P(Y⩾a^2)⩽\frac{E(Y)}{a^2}=\frac{V(X)}{a^2}.\square$$

Loi faible des grands nombres

Démonstration. Notons $S_n={\sum }_{i=1}^n{X}_i$, de sorte que ${\overline{X}}_n=\frac{1}{n}{S}_n$. Espérance. Par linéarité, $E(S_n)={\sum }_{i=1}^{n}E(X_i)=nm$, donc $E\left({\overline{X}}_n\right)=\frac{1}{n}\times nm=m$. Variance. Les variables étant deux à deux indépendantes, toutes les covariances sont nulles et la variance de la somme est la somme des variances : $V(S_n)=nv$. La formule $V(aX)=a^{2}V(X)$ avec $a=\frac{1}{n}$ donne alors

$$V\left({\overline{X}}_n\right)=\frac{1}{n^2}V(S_n)=\frac{nv}{n^2}=\frac{v}{n}.$$

Majoration. Appliquons l'inégalité de Bienaymé-Tchebychev à la variable ${\overline{X}}_n$, dont l'espérance vaut $m$, avec le seuil $a=\epsilon >0$ :

$$P\left(\right|{\overline{X}}_n-m|⩾\epsilon )⩽\frac{V\left({\overline{X}}_n\right)}{{\epsilon }^2}=\frac{v}{n{\epsilon }^2}.\square$$

Méthodes à retenir