Eclats de vers : Matemat 13 : Probabilité - 1

La mesure induite par deux variables aléatoires \(X\) et \(Y\) se définit par :

\[\mathcal{L}_{X,Y}(D) = \probaof{ \{ \omega\in\Omega : (X(\omega),Y(\omega)) \in D \} }\]

pour tout \(D \subseteq\setR^2\).

On voit clairement que :

Si \(\Phi \subseteq \Omega\) et \(X = \indicatrice_\Phi\), on a :

De même, si un ensemble \(U \subseteq \setR\) :

• ne contient ni \(1\) ni \(0\), on a \(\Theta(\indicatrice_\Phi,U) = \emptyset\)
• contient \(1\) et \(0\), on a \(\Theta(\indicatrice_\Phi,U) = \Omega\)
• contient \(1\) et pas \(0\), on a \(\Theta(\indicatrice_\Phi,U) = \Phi\)
• contient \(0\) et pas \(1\), on a \(\Theta(\indicatrice_\Phi,U) = \Omega \setminus \Phi\)

On a donc :

\[\Lambda(\indicatrice_\Phi) = \{ \emptyset, \Omega, \Phi, \Omega \setminus \Phi \}\]

Notons que pour tout \(\Phi \subseteq \Omega\), on a :

et donc :

\[\esperof{\indicatrice_\Phi} = \probaof{\Phi}\]

Pour toute fonction \(G : \setR \mapsto \setR\), on a bien évidemment \(G \circ X : \Omega \mapsto \setR\) et on peut définir :

\[\esperof{G(X)} = \int_\Omega (G \circ X)(\omega) \ d\proba(\omega)\]

De même, si \(X\) et \(Y\) sont deux variables aléatoires, pour toute fonction \(G : \setR^2 \mapsto \setR\), on a évidemment \(G(X,Y) \in \setR\) et on peut définir :

\[\esperof{G(X,Y)} = \int_\Omega G\left(X(\omega),Y(\omega)\right) \ d\proba(\omega)\]

Le cas particulier \(G(X,Y) = a \ X + b \ Y\), où \(a,b \in \setR\), nous montre la linéarité de l'espérance, qui découle directement de celle de l'intégrale :

\[\esperof{a \ X + b \ Y} = a \ \esperof{X} + b \ \esperof{Y}\]

Le cas particulier \(G = \identite\) nous donne :

\[\esperof{X} = \int_\setR x \ d\mathcal{L}_X(x)\]

Si il existe une fonction \(f_X : \setR \mapsto \setR\) telle que \(d\mathcal{L}_X = f_X \ dx\), où \(dx\) correspond à la mesure de Lebesgue sur \(\setR\), on a :

\[\esperof{G(X)} = \int_\setR G(x) \ f_X(x) \ dx\]

ainsi que :

\[\esperof{X} = \int_\setR x \ f_X(x) \ dx\]

On nomme cette fonction \(f_X\) la densité de la variable aléatoire \(X\).

Remarquons que \(f_X\) est positive par positivité de la mesure. Comme :

\[\esperof{1} = 1\]

on obtient la propriété de normalité :

\[\int_\setR f_X(x) \ dx = 1\]

Soit les variables aléatoires \(X, Y\) et la fonction étagée \(G : \setR^2 \mapsto \setR\) définie pour tout \(x, y \in \setR\) par :

\[G(x,y) = \sum_i g_i \ \indicatrice_{A_i}(x,y)\]

où les \(A_i\) forment une partition de \(\setR^2\) et où les \(g_i\) sont supposés sans perte de généralité être des réels distincts. Soit la partition de \(\Omega\) constituée des ensembles :

\[\Omega_i = \{ \omega \in \Omega : (X(\omega), Y(\omega)) \in A_i \}\]

On voit que \(G(X(\omega), Y(\omega)) = g_i\) pour tout \(\omega \in \Omega_i\). Calculons l'espérance de \(G(X,Y)\) :

Par définition de la mesure induite, on a :

\[\mathcal{L}_{X,Y}(A_i) = \probaof{\Omega_i}\]

L'espérance de \(G(X)\) peut donc s'exprimer comme :

\[\esperof{G(X,Y)} = \sum_i g_i \ \mathcal{L}_{X,Y}(A_i)\]

Mais le membre de droite n'est autre que l'intégrale de \(G\) sur \(\setR^2\) utilisant la mesure \(\mathcal{L}_{X,Y}\) :

\[\esperof{G(X,Y)} = \int_{\setR^2} G(x,y) \ d\mathcal{L}_{X,Y}(x,y)\]

Comme cette expression doit être valable pour toute fonction en escalier, on en conclut que :

\[\esperof{G(X,Y)} = \int_{\setR^2} G(x,y) \ d\mathcal{L}_{X,Y}(x,y)\]

pour toute fonction intégrable \(G\).

Si il existe une fonction \(f_{X,Y} : \setR^2 \mapsto \setR\) telle que \(d\mathcal{L}_{X,Y} = f_{X,Y} \ dx \ dy\), où \(dx \ dy\) correspond à la mesure de Lebesgue sur \(\setR^2\), on a :

\[\esperof{G(X,Y)} = \int_{\setR^2} G(x,y) \ f_{X,Y}(x,y) \ dx \ dy\]

En considérant le cas particulier \(G(X,Y) = X\), on obtient :

En définissant la fonction associée \(f_X\) par :

\[f_X(x) = \int_\setR f_{X,Y}(x,y) \ dy\]

on peut dès lors écrire l'espérance de \(X\) comme :

\[\esperof{X} = \int_\setR x \ f_X(x) \ dx\]

En suivant le même déroulement pour \(\esperof{Y}\), et en définissant :

\[f_Y(y) = \int_\setR f_{X,Y}(x,y) \ dx\]

on peut écrire l'espérance de \(Y\) comme :

\[\esperof{Y} = \int_\setR y \ f_Y(y) \ dy\]

A titre d'exemple, nous calculons le moment générateur associé à une densité gaussienne :

\[\Psi(u) = \unsur{\sqrt{2 \pi} \sigma} \int_\setR \exp(x u) \exp\left(-\frac{(x-\mu)^2}{2 \sigma^2}\right) dx\]

On obtient en développant :

Comme l'intégrale vaut \(\sqrt{2 \pi} \sigma\), on obtient finalement :

\[\Psi(u) = \exp(u \mu + \unsur{2} u^2 \sigma^2)\]

Notons que si \(X,Y\) sont deux variables aléatoires reliées par :

\[Y = X + a\]

où \(a \in \setR\), on a :

La variance est donc invariante sous translation :

\[\var{X+a} = \var{X}\]

Suivant le même raisonnement que pour la variance, on considère les variables aléatoires \(W,X,Y,Z\) reliées par :

où \(a,b \in \setR\). La covariance entre \(W\) et \(Z\) s'exprime alors :

La covariance est donc invariante sous translation :

\[\cov{X+a}{Y+b} = \cov{X}{Y}\]

En appliquant l'inégalité de Cauchy-Schwartz à ce produit scalaire, on obtient :

\[\cov{X}{Y}^2 \le \cov{X}{X} \ \cov{Y}{Y} = \var{X} \ \var{Y}\]

où, en prenant la racine :

\[\cov{X}{Y} \le \sqrt{\var{X} \ \var{Y}}\]

On dit que deux ensembles d'événements \(A\) et \(B\) sont indépendants si :

\[\probaof{A | B} = \probaof{A}\]

c'est-à-dire si :

\[\probaof{A \cap B} = \probaof{A} \cdot \probaof{B}\]

Une technique fréquemment employée pour évaluer \(\probaof{A}\) est d'utiliser une partition \(B_1,...,B_n\) de \(\Omega\). Utilisant \(A = A \cup \Omega\), on a alors :

\[\probaof{A} = \sum_i \probaof{A \cap B_i} = \sum_i \probaof{A | B_i} \cdot \probaof{B_i}\]

Soient \(X,Y\) deux variables aléatoires. Un cas particulier important d'espérance conditionnelle est celui où :

\[B_y = \{ \omega : Y(\omega) = y \}\]

On note alors :

\[\esperof{X | Y = y} = \esperof{X | B_y}\]

On remarque que :

\[(X,Y)(B_y) = \{ (x,y) \in \setR^2 : x \in \setR \}\]

Par conséquent, si il existe une fonction densité \(f_{X,Y}\) associée à \(X,Y\), on peut écrire :

ainsi que :

\[\int_{B_y} \ d\proba = \int_\setR f_{X,Y}(x,y) \ dx\]

L'espérance conditionnelle s'écrit alors :

\[\esperof{X | Y = y} = \frac{\int_\setR x \ f_{X,Y}(x,y) \ dx}{\int_\setR f_{X,Y}(x,y) \ dx}\]

Donc, si on définit :

\[f_{X | Y}(x,y) = \frac{f_{X,Y}(x,y)}{ \int_\setR f_{X,Y}(x,y) \ dx}\]

on a tout simplement :

\[\esperof{X | Y = y} = \int_\setR x \ f_{X | Y}(x,y) \ dx\]

Soit \(\Gamma \subseteq \sousens(\Omega)\) une collection de sous-ensembles de \(\Omega\) formant une tribu sur \(\Omega\) (voir section \ref{sec:tribu}), et \(\mathcal{F}(\Gamma)\) l'ensemble des variables aléatoires \(W\) telles que :

\[\Lambda(W) \subseteq \Gamma\]

où \(\Lambda(W)\) est la collection induite par \(W\).

L'espérance conditionnelle est construite comme le meilleur estimateur au sens des moindres carrés d'une variable aléatoire \(X\) sur \(\mathcal{F}(\Gamma)\). Soit la fonctionnelle \(I : \mathcal{F}(\Gamma) \mapsto \setR\) représentant l'erreur :

\[I(Z) = \int_\Omega \left[ Z(\omega) - X(\omega) \right]^2 \ d\proba(\omega)\]

Nous allons minimiser \(I\) sur \(\mathcal{F}(\Gamma)\). Pour ce faire, on utilise la technique du calcul variationnel (voir chapitre \ref{chap:varia}). On commence par définir :

\[J_W(\epsilon) = I(Z^* + \epsilon W) = \int_\Omega (Z^* + \epsilon W - X)^2 \ d\proba\]

où la variable aléatoire \(Z^*\) est l'optimum recherché, et où \(W \in \mathcal{F}(\Gamma)\), \(\epsilon \in \setR\). La dérivée s'écrit :

\[\OD{J_W}{\epsilon}(\epsilon) = \int_\Omega 2 (Z^* +\epsilon W - X) W \ d\proba = 0\]

Comme celle-ci doit s'annuler en \(\epsilon = 0\), on a :

\[\OD{J_W}{\epsilon}(0) = \int_\Omega 2 (Z^* - X) W \ d\proba = 0\]

Autrement dit :

\[\int_\Omega W Z^* \ d\proba = \int_\Omega W X \ d\proba\]

équation qui doit être vérifiée pour tout \(W \in \mathcal{F}(\Gamma)\).

Nous supposons dorénavant que \(\mathcal{F}(\Gamma)\) est un espace vectoriel. Soient \(Z_1, Z_2 \in \mathcal{F}(\Gamma)\) des variables aléatoires qui minimisent tous deux la fonctionnelle \(I\). On a :

\[\int_\Omega W Z_1 \ d\proba = \int_\Omega W Z_2 \ d\proba = \int_\Omega W X \ d\proba\]

pour tout \(W \in \mathcal{F}(\Gamma)\). Donc :

\[\int_\Omega W (Z_1 - Z_2) \ d\proba = 0\]

Mais comme \(Z_1 - Z_2 \in \mathcal{F}(\Gamma)\), il suffit de considérer le cas \(W = Z_1 - Z_2\) pour avoir :

\[\int_\Omega (Z_1 - Z_2)^2 \ d\proba = 0\]

On en conclut que \(Z_1 = Z_2\) presque partout sur \(\Omega\). L'espérance conditionnelle est donc unique pour \(X\) et \(\Gamma\) donnés.

Forts de ces résultats, on définit l'espérance de \(X\) conditionnellement à la tribu \(\Gamma\) comme étant :

\[\esperof{X | \Gamma} = \arg\min_{Z \in \mathcal{F}(\Gamma) } \int_{\Omega} \left[ Z - X \right]^2 \ d\proba\]

On a donc :

\[\int_\Omega W\ \esperof{X | \Gamma} \ d\proba = \int_\Omega W\ X \ d\proba\]

pour tout \(W \in \mathcal{F}(\Gamma)\).

Soit un ensemble \(\Phi \in \Gamma\). Les propriétés de \(\Gamma\) nous disent que \(\Omega \setminus \Phi \in \Gamma\). Donc :

\[\Lambda(\indicatrice_\Phi) = \{ \emptyset, \Omega, \Phi, \Omega \setminus \Phi \} \subseteq \Gamma\]

et \(\indicatrice_\Phi \in \mathcal{F}(\Gamma)\). On en déduit que :

\[\int_\Omega \indicatrice_\Phi \ \esperof{X | \Gamma} \ d\proba = \int_\Omega \indicatrice_\Phi \ X \ d\proba\]

c'est-à-dire :

\[\int_\Phi \esperof{X | \Gamma} \ d\proba = \int_\Phi X \ d\proba\]

pour tout \(\Phi \in \Gamma\).

Comme \(\Omega \in \Gamma\), on a en particulier :

\[\int_\Omega \esperof{X | \Gamma} \ d\proba = \int_\Omega X \ d\proba\]

c'est-à-dire :

\[\esperof{ \esperof{X | \Gamma} } = \esperof{X}\]

Une conséquence directe de la définition de l'espérance conditionnelle est que si \(Z \in \mathcal{F}(\Gamma)\), on a :

\[\int_\Omega (Z - Z)^2 \ d\proba = 0\]

Par conséquent, \(Z\) minimise la fonctionnelle :

\[I(Y) = \int_\Omega (Y - Z)^2 \ d\proba \ge 0\]

sur \(\mathcal{F}(\Gamma)\) et :

\[\esperof{Z | \Gamma} = Z\]

Soit la tribu \(\Delta \subseteq \Gamma\) et \(X\) une variable aléatoire et \(W \in \mathcal{F}(\Delta)\). On a :

\[\Lambda(W) \subseteq \Delta \subseteq \Gamma\]

Par conséquent \(W \in \mathcal{F}(\Gamma)\) et les équations suivantes sont vérifiées :

On en déduit que :

\[\int_\Omega W\ \esperof{X | \Delta} \ d\proba = \int_\Omega W\ \esperof{X | \Gamma} \ d\proba\]

Comme cette dernière équation est valable pour tout \(W \in \mathcal{F}(\Delta)\), on en déduit que \(\esperof{X | \Delta}\) est le meilleur estimateur de \(\esperof{X | \Gamma}\) sur \(\mathcal{F}(\Delta)\). Ce qui revient à dire que :

\[\esperof{ \esperof{X | \Gamma} | \Delta } = \esperof{X | \Delta}\]

Etant donné deux variables aléatoires \(X,Y\), on définit :

\[\esperof{X | Y} = \esperof{X | \Lambda(Y)}\]

Comme \(\Gamma = \Lambda(Y)\), l'espace \(\mathcal{F}(\Gamma)\) est l'ensemble des variables aléatoires \(W\) telles que :

\[\Lambda(W) \subseteq \Lambda(Y)\]