Eclats de vers : Matemat 13 : Probabilité - 2

On dit que les variables aléatoires \(X_1\), \(X_2\), …, \(X_N\) sont indépendantes si :

\[\esperof{\prod_i X_i} = \prod_i \esperof{X_i}\]

On en déduit que :

\[\cov{X_i}{X_j} = \var{X_i} \ \indicatrice_{ij}\]

et donc :

\[\var{\sum_i X_i} = \sum_i \var{X_i}\]

Nous nous intéressons dans la suite de ce chapitre à des échantillons de \(N\) variables aléatoires indépendantes \(X_1,...,X_N\) telles que :

Soit une variable aléatoire \(X\). On définit la variable associée :

Comme :

\[Y \le (X-b)^2\]

on a \(\esperof{Y} \le \esperof{(X-b)^2}\). D'un autre coté :

\[\esperof{Y} = a^2 \ \probaof{\abs{X-b} \ge a}\]

Rassemblant ces deux résultats, on obtient la propriété :

\[\probaof{\abs{X-b} \ge a} \le \unsur{a^2} \ \esperof{(X-b)^2}\]

connue sous le nom d'inégalité de Markov.

Le cas particulier \(b = \esperof{X}\) nous donne :

\[\probaof{\abs{X-\esperof{X}} \ge a} \le \unsur{a^2} \ \var{X}\]

Soit la moyenne :

\[M_N = \unsur{N} \sum_{i=1}^N X_i\]

On a :

\[\esperof{M_N} = \unsur{N} \ N \ \mu = \mu\]

L'indépendance entre les variables nous amène à :

\begin{align} \var{M_N} &= \unsur{N^2} \var{\sum_i X_i} \\ &= \unsur{N^2} \sum_i \var{X_i} \\ &= \unsur{N^2} \ N \ \sigma^2 \end{align}

et donc :

\[\var{M_N} = \frac{\sigma^2}{N}\]

Soit \(a > 0\). L'inégalité de Markov nous dit que :

\[\probaof{\abs{M_N - \mu} \ge a} \le \frac{\sigma^2}{a^2 N}\]

Soit à présent \(\epsilon > 0\). Si on veut :

\[\probaof{\abs{M_N - \mu} \ge a} \le \frac{\sigma^2}{a^2 N} \strictinferieur \epsilon\]

il suffit de choisir :

\[N > \frac{\sigma^2}{a^2 \epsilon}\]

On en conclut que :

\[\lim_{N \to +\infty} \probaof{M_N = \mu} = 1\]

Appliquons la loi des grands nombres à la fonction indicatrice \(\indicatrice_A\). On a alors \(X_i = 1\) lorsque \(\omega \in A\) et \(X_i = 0\) lorsque \(\omega \notin A\). La moyenne s'écrit donc :

\[M_N = \frac{n(A)}{N}\]

où \(n(A)\) est le nombre de \(X_i\) valant 1, autrement dit le nombre d'événements \(\omega\) appartenant à \(A\). Comme :

\[\mu = \esperof{\indicatrice_A} = \probaof{A}\]

on en déduit que la fréquence \(n(A) / N\) converge vers la probabilité de \(A\) :

\[\lim_{N \to +\infty} \probaof{\frac{n(A)}{N} = \probaof{A}} = 1\]

Soit une fonction \(G : \setR^n \mapsto \setR\) :

\[G : (X_1,...,X_N) \mapsto G(X_1,...,X_N)\]

On dit que \(\hat{G} : \setR^n \mapsto \setR\) est un estimateur non biaisé de \(G\) si :

\[\esperof{\hat{G}} = \esperof{G}\]

Soit :

\[M_N(X_1,...,X_N) = \unsur{N} \sum_{i=1}^N X_i\]

La loi des grands nombres nous dit que :

\[\esperof{M_N} = \mu\]

La moyenne \(M_N\) est donc un estimateur non biaisé de l'espérance \(\mu\).

Soit les variables à espérances nulles :

On obtient directement :

\[M_N^* = \unsur{N} \sum_i X_i^*\]

On voit également que :

\[X_i - M_N = X_i - \mu + \mu - M_N = X_i^* - M_N^*\]

Donc :

\[\esperof{\sum_i (X_i - M_N)^2} = \esperof{\sum_i \left( X_i^* - M_N^* \right)^2}\]

En développant, on obtient successivement :

\begin{align} \esperof{\sum_i (X_i - M_N)^2} &= \esperof{ \sum_i \left( X_i^* \right)^2 } - 2 \ \esperof{M_N^* \sum_i X_i^*} + \esperof{ \left( M_N^* \right)^2 } \\ &= \sum_i \esperof{ \left( X_i^* \right)^2 } - 2 \ N \ \esperof{ \left( M_N^* \right)^2 } + \esperof{ \left( M_N^* \right)^2 } \end{align}

Mais comme :

l'expression devient :

\[\esperof{\sum_i (X_i - M_N)^2} = (N - 2 + 1) \ \sigma^2 = (N-1) \ \sigma^2\]

On en conclut que :

\[S^2 = \unsur{N-1} \sum_{i=1}^{N} (X_i - M_N)^2\]

est un estimateur non biaisé de la variance :

\[\esperof{S^2} = \sigma^2\]

Il s'agit de trouver les paramètres \(\hat{\theta}\) (espérance, variance, …) qui maximisent la vraisemblance :

\[V(\hat{\theta}) = \prod_i \probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} }\]

Notons que cela revient à maximiser :

\[\ln\prod_{i=1}^N \probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} } = \sum_{i=1}^N \ln\probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} }\]

ce qui est souvent plus facile.

En pratique, lorsque la fonction de densité \(f_\theta\) est connue, on maximise :

\[\phi(\theta) = \sum_i \ln f_\theta(x_i)\]

en imposant :

\[\deriveepartielle{\phi}{\theta}(\hat{\theta}) = 0\]

Il s'agit d'un algorithme permettant de générer \(N\) nombres aléatoires :

\[\{ x_1, ..., x_N \}\]

suivant la densité \(f\). Soit \(\epsilon \ge 0\) une erreur maximale et \([a,b]\) tel que :

\[\int_a^b f(x) \ dx = 1 - \epsilon\]

Soit :

\[M = \sup_{x \in [a,b]} f(x)\]

et la génératrice :

\[\rand(a,b)\]

qui renvoie des variables aléatoires de densité uniforme sur \([a,b]\).

On part de \(A_0 = \emptyset\). A chaque itération, on génére deux nombres de densités uniformes :

Afin de modifier cette densité, on n'ajoute \(x\) à la liste déjà obtenue :

\[A_i = A_{i-1} \cup \{ x \}\]

que si \(y < f(x)\). Autrement, on ne fait rien et on passe à l'itération suivante.

La comparaison de \(y\) et de \(f(x)\) sert donc de filtre à l'algorithme.

Un processus stochastique est une fonction :

\[X : [0,+\infty) \times \Omega \mapsto \setR, \quad (t,\omega) \mapsto X(t,\omega)\]

On sous-entend souvent l'événement \(\omega\), et on note \(X(t)=X(t,\omega)\).

Il s'agit d'une intégrale utilisant un processus stochastique \(X\) comme mesure :

\[I(t) = \int_0^t f(s) \ dX(s) = \lim_{\delta \to 0} \sum_k f(t_k) (X(t_{k+1}) - X(t_k))\]

Soit \(\delta \strictsuperieur 0\) et les \(N\) temps \(t_k = k \cdot \delta\) où \(k = 0,...,\arrondisup{\frac{T}{\delta}}\). On définit la variation quadratique d'une fonction \(f\) :

\[\variation{f}(T) = \lim_{\delta \to 0} \sum_k (f(t_{k+1}) - f(t_k))^2\]

Si la dérivée de \(f\) existe, la variation quadratique s'annule car :

\[(f(t_{k+1}) - f(t_k))^2 \to \delta^2 \ \OD{f}{t}(t_k)^2\]

Comme \(\delta^2 \to \delta \ ds\), on a :

\[\variation{f}(T) = \lim_{\delta \to 0} \delta \int_0^T \left(\OD{f}{t}(s)\right)^2 ds = 0\]

Considérons maintenant deux processus stochastiques \(X,Y\). Nous définissons la variation conjointe \(\variation{X,Y}\) :

\[\variation{X,Y}(T) = \lim_{\delta \to 0} \sum_k (X(t_{k+1}) - X(t_k)) \ (Y(t_{k+1}) - Y(t_k))\]

Dans le cas où les dérivées de \(X\) et de \(Y\) existent, on a évidemment : \(\variation{X,Y} = 0\).

Pour une fonction \(f : \setR^2 \mapsto \setR\) quelconque, nous avons :

\[df(X,Y) = f(X + \ dX,Y + dY) - f(X,Y)\]

Dans le cas particulier où \(f(X,Y)=X \cdot Y\), cette expression se réduit à :

\begin{align} d(X \cdot Y) &= (X + \ dX) \cdot (Y + dY) - X \cdot Y \\ &= \ dX \cdot Y + X \cdot dY + \ dX \cdot dY \end{align}

Mais comme :

\[\variation{X,Y}(t) = \int_0^t \ dX \cdot dY\]

on a en définitive :

\begin{align} X(t) Y(t) - X(0) Y(0) &= \int_0^t d(X Y)(s) \\ &= \int_0^t X(s) \ dY(s) + \int_0^t Y(s) \ dX(s) + \variation{X,Y}(t) \end{align}

La définition nous donne directement :

\[\variation{X} = \variation{X,X}\]

On peut aussi vérifier que :

\[(X + Y)^2 - (X - Y)^2 = 4 \ X \ Y\]

d'où l'on déduit :

\[\variation{X,Y} = \unsur{4} ( \variation{X + Y} - \variation{X - Y} )\]

Soit \(\delta \strictsuperieur 0\) et les temps \(t_k = k \delta\) où \(k = 0,...,\arrondisup{\frac{T}{\delta}}\). On définit la variation d'ordre \(n\) d'une fonction \(f\) :

\[\variation{f}^n(T) = \lim_{\delta \to 0} \sum_k (f(t_{k+1}) - f(t_k))^n\]

Soit une fonction \(F : \setR^n \mapsto \setR\) et \(N\) processus stochastiques \(X_i\) dont les variations d'ordre \(n \ge 3\) s'annulent. Soit \(X=(X_1,...,X_N)\). On peut écrire le développement en série de Taylor d'ordre 2 :

\[F(X + \Delta) - F(X) \approx \deriveepartielle{F}{X}(X) \Delta + \unsur{2} \Delta^T \dblederiveepartielle{F}{X}(X) \Delta\]

En faisant tendre \(\Delta \to 0\), on obtient :

\[dF = \deriveepartielle{F}{X} \ dX + \unsur{2} \ dX^T \dblederiveepartielle{F}{X} \ dX\]

On a donc la formule de Ito pour une fonction $f : \setRⁿ \mapsto \setR $ :

\[dF = \sum_i \deriveepartielle{F}{X_i} \ dX_i + \unsur{2} \sum_{i,j} \dfdxdy{F}{X_i}{X_j} \ dX_i \ dX_j\]

Ce qui nous permet d'évaluer une variation de \(F\) :

Un mouvement brownien est un processus stochastique :

\[B : [0,+\infty) \times \Omega \mapsto \setR, \quad (t,\omega) \mapsto B(t,\omega)\]

continu par rapport à \(t\) :

\[B_\omega : t \mapsto B(t,\omega) \in \Cont([0,+\infty))\]

De plus, si on définit :

\[\mathcal{B}_t : \omega \mapsto B(t,\omega)\]

on a la propriété d'indépendance des variations temporelles :

\[\cov{\mathcal{B}_u - \mathcal{B}_t}{\mathcal{B}_t - \mathcal{B}_s} = 0\]

pour tout \(s \strictinferieur t \strictinferieur u\) positifs. On demande aussi qu'une variation \(\mathcal{B}_t - \mathcal{B}_s\) suive une loi normale d'espérance nulle et de variance \(t-s\) :