$\parbox{10cm}{\scriptsize Universit\'e de Paris 5 -- Ren\'e Descarte... ...ematiques et Informatique}\\ 45, rue des Saints-P\\lq eres 75270 Paris cedex 06 }$

Maîtrises Maths-MASS - Statistiques générales

Corrigé du partiel du 26 novembre 2002

Ex 1.

1. Les variables $X_i$ étant à valeurs dans ${\mathbb{N}}$, on choisit comme espace des observations du modèle statistique associé à $(X_1,\ldots,X_n)$ l'ensemble ${\Omega}={\mathbb{N}}^n$, muni de la tribu de l'ensemble de ses parties ${\cal P}({\Omega})$. La famille de lois $\left\{\P _{\theta},{\theta}\in{\Theta}={\mathbb{R}}^*_+\right\}$ définies sur ${\Omega}$ est dominée par la mesure de comptage $N_{\vert\Omega}$ sur ${\Omega}$, et est caractérisée par
   

   $$\forall x\in{\Omega},\ \ \frac{d^P_{\theta}}{dN_{\vert{\Omega}}}(x) = \P _{\theta} \left(\left(X_1,\ldots,X_n\right)=\left(x_1,\ldots,x_n\right)\right)$$

   $$= \prod_{i=1}^n\P _{\theta}(X_i=x_i)\ \mbox{ car les $X_i$\ sont ind\'ependants entre eux}$$

   $$= \frac{{\theta}^{\sum_{i=1}^nx_i}}{\prod_{i=1}^nx_i!}e^{-n{\theta}}=\exp\left(Q({\theta})\bar x_n-{\varphi}({\theta})\right)h(x)$$

   
   
   avec
   $$Q({\theta})=n\ln({\theta}),\ \ \bar x_n=\frac{1}{n}\sum_{i=1}^nx_i,\ \ {\varphi}({\theta})=n{\theta}\$$    et $$h(x)=\frac{1}{\prod_{i=1}^nx_i!}$$
   On reconnaît donc un modèle exponentiel dont $\bar X_n$ est une statistique exhaustive. Comme l'ensemble $Q({\Theta})={\mathbb{R}}$ contient un ouvert de ${\mathbb{R}}$, on en déduit en outre que la statistique $\bar X_n$ est complète et minimale.

2. Comme $Q$ est une fonction dérivable, de dérivée $Q'({\theta})=n/{\theta}$ continue et ne s'annulant pas sur ${\Theta}={\mathbb{R}}_+^*$ qui est un ouvert de ${\mathbb{R}}$, on en déduit que le modèle est régulier, et que $\bar X_n$ est une statistique régulière, et un estimateur UVMB et efficace de son espérance
   $$g({\theta})={\mathbb{E}}_{\theta}\left[\bar X_n\right]={\mathbb{E}}_{\theta}\left[X_1\right]={\theta}$$
   De plus, comme $\bar X_n$ est un estimateur efficace, il y a égalité dans l'inégalité de Cramer-Rao, et on en déduit le calcul de l'information de Fisher $I_n({\theta})$ du modèle :
   $$I_n({\theta})=\frac{\left(g'({\theta})\right)^2}{\mathop{\hbox{va... ...ac{1}{\frac{1}{n}\mathop{\hbox{var}}\nolimits _{\theta}(X_1)}=\frac{n}{\theta}$$
   où l'on s'est servi du fait que $\mathop{\hbox{var}}\nolimits _{\theta}(X_1)={\theta}$.

3. On a
   $${\theta}=\mathop{\hbox{var}}\nolimits _{\theta}(X_1)={\mathbb{E}}... ...bb{E}}_{\theta}\left[X_1\right],{\mathbb{E}}_{\theta}\left[X_1^2\right]\right)$$
   avec $q(u,v)=v-u^2$. La méthode de substitution consiste à remplacer les espérances par les espérances empiriques ; on en déduit l'estimateur (fortement consistant) de ${\theta}$ :
   $$\hat{\theta}(X)=q\left(\frac{1}{n}\sum_{i=1}^nX_i,\frac{1}{n}\sum... ...\right)=\frac{1}{n}\sum_{i=1}^nX_i^2-\left(\frac{1}{n}\sum_{i=1}^nX_i\right)^2$$
   On reconnaît la variance empirique non corrigée.
4. Comme ${\mathbb{E}}_{\theta}\left[\left\vert X_1\right\vert\right]={\mathbb{E}}_{\theta}\left[X_1\right]={\theta}<+\infty$, on déduit de la loi forte des grands nombres que
      sous $$\P _{\theta},\ \ \lim_{n\rightarrow +\infty}\frac{1}{n}\sum_{i=1}^nX_i={\mathbb{E}}_{\theta}\left[X_1\right]={\theta}$$
   Puisque $\bar X_n$ tend $\P _{\theta}$-p.s. vers ${\theta}$ et $1/n$ vers 0, quand $n$ tend vers $+\infty$, on en déduit que $T=(\bar X_n+1/n)/(1+1/n)$ tend aussi $\P _{\theta}$-p.s. vers ${\theta}$. Autrement dit, $T$ est fortement consistant.

   Calcul des fonctions de risque :
   

   $$R({\theta},\bar X_n) = \mathop{\hbox{var}}\nolimits _{\theta}\left(\bar X_n\right)=\frac{{\theta}}{n}$$

   $$R({\theta},T) = \mathop{\hbox{var}}\nolimits _{\theta}\left(T\right)+\left({\mathbb{E}}_{\theta}\left[T\right]-{\theta}\right)^2$$

   $$= \frac{\mathop{\hbox{var}}\nolimits _{\theta}\left(\bar X_n\right)... ...n}\right)^2}+\left(\frac{{\theta}+\frac{1}{n}}{1+\frac{1}{n}}-{\theta}\right)^2$$

   $$= \frac{\theta}{n\left(1+\frac{1}{n}\right)^2}+\left(\frac{1-{\theta}}{1+n}\right)^2$$

   
   

   Comparaison des fonctions de risque :

   $$\lim_{{\theta}\rightarrow 0^+}R({\theta},\bar X_n)=0$$ et $$\lim_{{\theta}\rightarrow 0^+}R({\theta},T)=\frac{1}{\left(1+n\right)^2}$$
   Dans un voisinage de $0^+$, le risque de $\bar X_n$ est donc plus faible que celui de $T$.
   $$R(1,\bar X_n)=\frac{1}{n}$$ et $$R(1,T)=\frac{1}{n\left(1+\frac{1}{n}\right)^2}$$
   En $1$, le risque de $\bar X_n$ est donc plus élevé que celui de $T$. On en conclut que les fonctions de risque de $\bar X_n$ et de $T$ ne sont pas comparables.

5. Le risque maximum de $\bar X_n$ sur $\left]0,1\right]$ est
   $$\sup_{{\theta}\in]0,1]}R({\theta},\bar X_n)=\sup_{{\theta}\in]0,1]}\left(\frac{\theta}{n}\right)=\frac{1}{n}$$
   Pour calculer la valeur maximale prise par $R({\theta},T)$, remarquons que cette fonction est une parabole convexe, et qu'elle atteint donc son maximum aux bornes de l'intervalle sur lequel on l'étudie ; ainsi
   $$\sup_{{\theta}\in]0,1]}R({\theta},T)=\max\left(R(0,T),R(1,T)\righ... ...{n\left(1+\frac{1}{n}\right)^2}\right)=\frac{1}{n\left(1+\frac{1}{n}\right)^2}$$
   Il en ressort que $T$ a le plus faible risque maximum, et qu'il est donc meilleur que $\bar X_n$ au sens du risque minimax.

6. Calcul des risques bayésiens (à l'aide de l'indication):
   

   $$R({\nu},\bar X_n) = \int R({\theta},\bar X_n)d{\nu}({\theta})=\int_0^{+\infty}R({\theta},\bar X_n)e^{-{\theta}}d{\theta}$$

   $$= \frac{1}{n}\int_0^{+\infty}{\theta}e^{-{\theta}}d{\theta}=\frac{1}{n}$$

   $$R({\nu},T) = \int R({\theta},T)d{\nu}({\theta})=\int_0^{+\infty}R({\theta},T)e^{-{\theta}}d{\theta}$$

   $$= \int_0^{+\infty}\left(\frac{\theta}{n\left(1+\frac{1}{n}\right)^2}+\left(\frac{1-{\theta}}{1+n}\right)^2\right)e^{-{\theta}}d{\theta}$$

   $$= \frac{1}{n\left(1+\frac{1}{n}\right)^2}+\frac{1-2+2}{\left(1+n\right)^2}=\frac{1}{n+1}$$

   
   
   Le rsique bayésien de $T$ relatif à la loi a priori ${\nu}$ est plus faible que celui de $\bar X_n$ ($T$ est d'ailleurs l'estimateur bayésien de ${\theta}$ relatif à ${\nu}$).

Ex 2.

1. Les variables $X_i$ étant à valeurs dans ${\mathbb{R}}$, on choisit comme espace des observations du modèle statistique associé à $(X_1,\ldots,X_n)$ l'ensemble ${\Omega}={\mathbb{R}}^n$, muni de la tribu borélienne ${\cal B}({\Omega})$. La famille de lois $\left\{\P _{\theta},{\theta}\in{\Theta}={\mathbb{R}}\right\}$ définies sur ${\Omega}$ est dominée par la mesure de Lebesgue ${\lambda}_{\vert\Omega}$ sur ${\Omega}$, et est caractérisée par
   $$\forall x\in{\Omega},\ \ \frac{d\P _{\theta}}{d{\lambda}_{\vert{\... ...f_{\theta}(x_i)=e^{-\sum_{i=1}^nx_i+n{\theta}}\prod_{i=1}^n1_{x_i\geq{\theta}}$$
   Posons $x_{(1)}=\min(x_1,\ldots,x_n)$ ; on remarque que $\prod_{i=1}^n1_{x_i\geq{\theta}}=1_{x_{(1)}\geq{\theta}}$, d'où il vient
   $$\forall x\in{\Omega},\ \ \frac{d\P _{\theta}}{d{\lambda}_{\vert{\... ...=e^{-\sum_{i=1}^nx_i+n{\theta}}1_{x_{(1)}\geq{\theta}}=g_{\theta}(x_{(1)})h(x)$$
   avec
   $$g_{\theta}(u)=e^{n{\theta}}1_{u\geq{\theta}}$$ et $$h(x)=e^{-\sum_{i=1}^nx_i}$$
   On déduit alors du théorème de factorisation que $X_{(1)}$ est une statistique exhaustive.
2. Calculons la fonction de répartition de la loi de $X_{(1)}$ : quel que soit $t\in{\mathbb{R}}$,
   

   $$F_{X_{(1)}}(t) = \P _{{\theta}}\left(X_{(1)}\leq t\right)=1-\P _{{\theta}}\left(X_{(1)}> t\right)$$

   $$= 1-\P _{\theta}\left(\forall i=1,\ldots,n,\ X_i>t\right)$$

   $$= 1-\prod_{i=1}^n\P _{\theta}\left(X_i>t\right) \mbox{ car les $X_i$\ sont ind\'ependants entre eux}$$

   $$= 1-\P _{\theta}\left(X_1>t\right)^n$$

   
   
   Or
   $$\P _{\theta}\left(X_1>t\right)=\left\{ \begin{array}{l} 1\mbox{ s... ...{-(u-{\theta})}du=e^{-(t-{\theta})}\mbox{ si }t\geq{\theta} \end{array}\right.$$
   On en déduit la fonction de répartition
   $$F_{X_{(1)}}(t)=\left\{ \begin{array}{l} 0\mbox{ si }t\leq{\theta}\\ 1-e^{-n(t-{\theta})}\mbox{ si }t\geq{\theta} \end{array}\right.$$
   puis, en dérivant, la densité de la loi de $X_{(1)}$ par rapport à la mesure de Lebesgue sur ${\mathbb{R}}$ :
   $$\forall t\in{\mathbb{R}},\ \ f^{X_{(1)}}_{\theta}(t)=\left\{ \beg... ...ox{ si }t\geq{\theta} \end{array}\right\}=ne^{-n(t-{\theta})}1_{t\geq{\theta}}$$

   Pour montrer que $X_{(1)}$ est complète, supposons qu'il existe ${\varphi}$ borélienne intégrable telle que ${\mathbb{E}}_{\theta}\left[{\varphi}(X_{(1)})\right]=0$ quel que soit ${\theta}\in{\mathbb{R}}$. On peut supposer de plus que ${\varphi}$ est continue. Alors l'hypothèse implique

   $$\forall {\theta}\in{\mathbb{R}},\ \ \int_{\theta}^{+\infty}{\varphi}(t) ne^{-n(t-{\theta})}dt=0$$
   ce qui implique
   $$\forall {\theta}\in{\mathbb{R}},\ \ \int_{\theta}^{+\infty}{\varphi}(t) e^{-nt}dt=0$$
   On dérive par rapport à ${\theta}$ l'expression ci-dessus, d'où il appert que
   $$\forall {\theta}\in{\mathbb{R}},\ \ {\varphi}({\theta}) e^{-n{\theta}}=0$$
   et l'on en déduit que ${\varphi}$ est la fonction nulle. On a ainsi montré que $X_{(1)}$ est une statistique complète. Comme toute statistique exhaustive et complète est aussi minimale, il s'ensuit que $X_{(1)}$ est aussi minimale.

3. Soit $x\in{\Omega}$. Cherchons la valeur du paramètre ${\theta}$ qui maximise la vraisemblance du modèle
   $$L({\theta},x)=e^{-\sum_{i=1}^nx_i+n{\theta}}1_{x_{(1)}\geq{\theta}}$$
   Sur l'intervalle $]-\infty,x_{(1)}]$, la fonction ${\theta}\mapsto L({\theta},x)=e^{-\sum_{i=1}^nx_i+n{\theta}}$ est croissante et atteint donc son maximum en $x_{(1)}$ ; sur l'intervalle $]x_{(1)},+\infty[$, cette fonction est nulle. On en déduit
   $$\sup_{{\theta}\in{\Theta}}L({\theta},x)=L(x_{(1)},x)$$
   Autrement dit, l'estimateur du maximum de vraisemblance de ${\theta}$ est la statistique $X_{(1)}$.

4. Calcul de ${\mathbb{E}}_{\theta}\left[X_{(1)}\right]$ :
   

   $${\mathbb{E}}_{\theta}\left[X_{(1)}\right] = \int_{\theta}^{+\infty}tne^{-n(t-{\theta})}dt=\int_{0}^{+\infty}(\frac{u}{n}+{\theta})e^{-u}du u=n(t-{\theta})$$

   $$= \frac{1}{n}+{\theta}$$

   
   
   On en déduit que $X_{(1)}-\frac{1}{n}$ est un estimateur sans biais de ${\theta}$, fonction d'une statistique exhaustive et complète ; c'est donc l'estimateur UVMB de ${\theta}$, d'après le corollaire du théorème de Lehmann-Scheffé.

5. Calcul de ${\mathbb{E}}_{\theta}\left[\bar X_n\right]$ :
   

   $${\mathbb{E}}_{\theta}\left[\bar X_n\right] = {\mathbb{E}}_{\theta}\left[X_1\right]=\int_{\theta}^{+\infty}te^{-(t-{\theta})}dt$$

   $$= \int_{0}^{+\infty}(u+{\theta})e^{-u}du u=t-{\theta}$$

   $$= 1+{\theta}$$

   
   
   Il en résulte que $\bar X_n-1$ est un estimateur sans biais de ${\theta}$, et que ${\mathbb{E}}_{\theta}\left[\bar X_n-1\vert X_{(1)}\right]$ est l'estimateur UVMB de ${\theta}$ d'après le théorème de Lehmann-Scheffé. D'où ${\mathbb{E}}_{\theta}\left[\bar X_n-1\vert X_{(1)}\right]=X_{(1)}-\frac{1}{n}$. On en déduit
   $${\mathbb{E}}_{\theta}\left[\bar X_n\vert X_{(1)}\right]=X_{(1)}+1-\frac{1}{n}$$

6. Montrons que $X_{(1)}$ est faiblement consistant : soit ${\varepsilon}>0$ quelconque,
   

   $$\P _{\theta}\left(\left\vert X_{(1)}-{\theta}\right\vert>{\varepsilon}\right) = \P _{\theta}\left( X_{(1)}-{\theta}>{\varepsilon}\right) X_{(1)}\geq{\theta}$$

   $$= P_{\theta}\left( X_{(1)}>{\theta}+{\varepsilon}\right)=\int_{{\theta}+{\varepsilon}}ne^{-n(t-{\theta})}dt=e^{-n{\varepsilon}}$$

   
   
   Il en découle que $\lim_{n\rightarrow +\infty}\P _{\theta}\left(\left\vert X_{(1)}-{\theta}\right\vert>{\varepsilon}\right)=0$ quel que soit ${\varepsilon}>0$, ce qui montre la convergence en probabilité de $X_{(1)}$ vers ${\theta}$. La statistique $X_{(1)}$ est donc faiblement consistante.

   Montrons maintenant qu'elle est aussi fortement consistante. On sait, d'après le lemme de Borel-Cantelli, que sous l'hypothèse

   $$\forall{\varepsilon}>0,\ \ \sum_{n\geq1}\P _{\theta}\left(\left\vert X_{(1)}-{\theta}\right\vert>{\varepsilon}\right)<+\infty$$
   alors $X_{(1)}$ converge $\P _{\theta}$-p.s. vers ${\theta}$ quand $n$ tend vers l'infini, autrement dit $X_{(1)}$ est fortement consistant. Or quel que soit ${\varepsilon}>0$,
   $$\sum_{n\geq1}\P _{\theta}\left(\left\vert X_{(1)}-{\theta}\right\... ...right)=\sum_{n\geq1}e^{-n{\varepsilon}}=\frac{1}{1-e^{-\varepsilon}}-1<+\infty$$
   On en déduit le résultat attendu.

7. Déterminons la loi de $n(X_{(1)}-{\theta})$ : soit ${\varphi}$ fonction borélienne bornée quelconque ; alors
   

   $${\mathbb{E}}_{\theta}\left[{\varphi}\left(n(X_{(1)}-{\theta})\right)\right] = \int_{{\theta}}^{+\infty}{\varphi}\left(n(t-{\theta})\right)ne^{-n(t-{\theta})}dt$$

   $$= \int_{0}^{+\infty}{\varphi}(u)e^{-u}du u=n(t-{\theta})$$

   
   
   La variable aléatoire $n(X_{(1)}-{\theta})$ suit donc une loi exponentielle de paramètre $1$, pour tout $n$. Il en résulte bien évidemment qu'elle converge en loi, quand $n$ tend vers $+\infty$, vers cette loi exponentielle.

   L'estimateur $X_{(1)}$ est-il asymptotiquement sans biais ?

   • Premier sens : $X_{(1)}$ est asymptotiquement sans biais car son biais tend vers 0
     $${\mathbb{E}}_{\theta}\left[X_{(1)}\right]={\theta}+\frac{1}{n}\longrightarrow_{n\rightarrow+\infty}{\theta}$$

   • Deuxième sens : $X_{(1)}$ n'est pas asymptotiquement sans biais car le rapport de son risque et de sa variance ne tend pas vers $1$
     

     $$\frac{R({\theta},X_{(1)})}{\mathop{\hbox{var}}\nolimits _{\theta}\left(X_{(1)}\right)} = 1+\frac{\left({\mathbb{E}}_{\theta}\left[X_{(1)}\right]-{\theta}\right)^2}{\mathop{\hbox{var}}\nolimits _{\theta}\left(X_{(1)}\right)}$$

     $$= 1+\frac{\left({\theta}+\frac{1}{n}-{\theta}\right)^2}{\frac{1}{n^2}\mathop{\hbox{var}}\nolimits _{\theta}\left(n(X_{(1)-{\theta})}\right)}$$

     $$= 1+1=2$$

     
     
     en utilisant le fait que la variance d'une variable exponentielle de paramètre $1$ est $1$.
   • Troisème sens : $X_{(1)}$ n'est pas asymptotiquement sans biais car $n(X_{(1)}-{\theta})$ converge en loi vers une loi d'espérance $1$, non nulle.