Théorèmes Limites, J–Paul Tsasa Laboratoire d`Analyse

Théorèmes Limites, J–Paul Tsasa Laboratoire d’Analyse – Recherche en Economie Quantitative One pager

Janvier 2013

Vol. 5 – Num. 008 Copyright © Laréq 2013

http://www.lareq.com

Théorèmes Limites en Théorie des Probabilités Inégalités, Lois des Grands Nombres et Théorèmes Centraux Limites Jean – Paul Kimbambu, Tsasa Vangu

Résumé Ce papier présente ce qu’il convient de considérer comme résultats les plus remarquables et célèbres en théorie de probabilités : les lois faible et forte des grands nombres et les théorèmes centraux limites (versions restreinte et plus générale). Il recueille, également, une trentaine d’inégalités rencontrées généralement dans l’analyse statistique. Mots – clé : Inégalité, loi de grands nombres, théorème limite central. Abstract We present in this paper the law of large numbers and central limit theorems. We also identify around thirty inequalities, for which some are used in the statistical analysis and in the proof of limit theorems. Introduction Alors que T. Haavelmo1 (1944) estimait que les modèles développés en économie ne pouvaient être cohérents avec les données que s’ils sont probabilistes, deux obstacles majeurs empêchaient l’introduction de probabilités dans la méthodologie de l’analyse économique : (i) la non indépendance des faits économiques et (ii) le problème d’homogénéité du temps ou de la permanence des lois économiques. Pour écarter ces arguments myopes, Haavelmo (1944) avance une thèse révolutionnaire qui impose l’application de probabilité en économétrie. En effet : (i) il propose une approche basée sur le caractère aléatoire des relations économiques au regard du nombre de facteurs explicatifs des faits socio – économiques ; (ii) en référence aux changements éventuels de structure, il différencie les relations économiques stables et non stables ; (iii) il distingue, d’une part, l’influence théorique ou potentielle d’un facteur et d’autre part, son influence réellement observée ou factuelle. Ainsi estime – t – il que la cohérence des modèles économiques avec les données tient à la prise en compte de notions probabilistes dans la méthodologie économétrique. Cette intuition –l’introduction de probabilités dans les modèles économiques– est l’un des points focaux ayant caractérisé le développement de la théorie économétrique. S’inscrivant dans cette logique, il apparaît donc primordiale de comprendre les piliers et enjeux de la théorie des probabilités en analyse économique. Dans ce papier, nous abordons un thème de nature fondamentale, les théorèmes limites2. En effet, étant remarquables et célèbres à la fois, les théorèmes limites apparaissent en théorie des probabilités comme un des résultats théoriques les plus importants. On les regroupe généralement sous deux dénominations. D’une part, on note les lois des grands nombres et d’autre part, les théorèmes centraux limites.

1 2

Economiste et statisticien norvégien et lauréat du Prix Nobel d’économie en 1989, Trygve Haavelmo est considéré comme l’un des pères révolutionnaires de la théorie économétrique. Toujours dans le cadre de la présentation des piliers de la théorie des probabilités, dans les papiers ultérieurs, nous reviendrons sur certains concepts – clé sur la théorie de la mesure –théorie imaginée par le mathématicien français Henri – Léon Lebesgue au début du XXème siècle. 42

Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Alors que les lois des grands nombres établissent les conditions qui déterminent la convergence de la moyenne d’une suite de variables aléatoires vers leur espérance mathématique commune, les théorèmes centraux limites précisent sous quelles hypothèses la somme d’un grand nombre de variables aléatoires se caractérise par une distribution approximativement normale. Ce papier propose un exposé rigoureux de ces résultats. Nous le structurons comme suit. Dans la première section, nous passons en revue les principales inégalités utilisées en théorie des probabilités et dont certaines, notamment les inégalités de Markov, de Chebyshev et de Kolmogorov, sont utilisées dans la dérivation des théorèmes limites. La deuxième section et la troisième section sont consacrées à la présentation et la démonstration des théorèmes limites. Dans la deuxième section, nous présentons les versions faible et forte de la loi des grands nombres. Et dans la troisième section, nous nous intéressons à la dérivation des versions restreinte et générale du théorème central limite. I. Inégalités célèbres en théorie des probabilités Cette section présente trois inégalités qui permettent d’ériger l’environnement où s’appliquent les théorèmes limites. Au delà de ces trois inégalités, nous reprenons également une collection des inégalités généralement utilisées en statistique. Considérons une constante positive

telle que :

on note pour la variable aléatoire

:

Connaissant l’expression de l’espérance mathématique :

Ainsi, on établit l’inégalité de Markov :

Posons à présent notée

Puisque

telles que

et admettons que la variable et

possède une moyenne, notée

et une variance,

Le cas Markov devient, après avoir centré la variable aléatoire

et que

:

il vient que :

43 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

En considérant, une suite

des variables aléatoires qui sont de carré intégrable et deux à deux

corrélées, on obtient :

et il s’ensuit que :

Ainsi, pour tout

:

où :

Comme indiqué par leurs expressions, les inégalités de Markov et de Chebyshev permettent de borner la valeur de probabilité dont l’espérance mathématique et la variance sont connues. Considérons, cette fois – ci, une suite des variables aléatoires,

réelles indépendantes, de carré

intégrable et d’espérance nulle telles que :

Alors pour tout

:

En supposant que les

ne sont pas centrées, c’est – à – dire

et que

et en posant

que :

on obtient ainsi une version généralisé de l’inégalité de Kolmogorov :

Regardons plus en détails l’inégalité de Kolmogorov et notons à cet effet :

tel que suite finie

c’est – à - dire l’événement élémentaire atteint ou dépasse

réalise l’événement

si et seulement si la

la première fois pour

44 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Il vient donc que les

sont deux à deux disjoints et que :

Au regard de la propriété de croissance et additivité de l’intégrale (mesure de la densité

par rapport à

), on obtient la minoration suivante :

Intégrons sur

l’inégalité élémentaire, on a ainsi :

où :

D’une part, les variables

et

étant des combinaisons linéaires de variables aléatoires de carré intégrable,

sont de carré intégrable. Et d’autre part, puisque

et que

en est pour le vecteur aléatoire

est une fonction mesurable du seul vecteur aléatoire

elles sont donc indépendantes. Ainsi :

Puisque

Ainsi, on obtient :

A première vue, il ressort que l’inégalité de Kolmogorov est plus ou moins identique à celle de Bienaymé – Chebyshev. Cependant, il convient de rappeler que contrairement à l’inégalité de Bienaymé – Chebyshev, où l’on suppose la non corrélation deux à deux, dans ce cas, on pose l’indépendance mutuelle. Par ailleurs, on note aussi que l’inégalité de Kolmogorov est beaucoup plus puissante étant donné qu’elle permet de comprendre, en probabilité, toute déviation d’une suite finie

Parallèlement à ces inégalités, nous énumérons ci – après les inégalités généralement utilisées en probabilités, notamment dans l’analyse de la convergence. Ci – après, nous les énumérons uniquement, dans les papiers ultérieurs, on pourrait envisager de les illustrer avec quelques applications et établir les liens existant entre elles.

45 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Tableau 1 : Répertoire de quelques inégalités célèbres en probabilités Inégalité de Hölder : Inégalité de Minkowski

:

Inégalité de Lyapunov

:

Inégalité de Bunyakovski – Cauchy – Schwarz

:

Inégalité de Jensen

:

Inégalité triangulaire

:

Inégalité de Bonferroni

:

Inégalité de Boole

:

Bornes de Chernoff

:

est une fonction convexe.

fonction génératrice des moments. Inégalité de Bernett

: -

;

Moyennes

arithmétique,

géométrique

et

harmonique :

: -

; ;

-

Nous reprenons le reste des inégalités en annexe. Dans les sections qui suivent, nous présentons et démontrons les théorèmes limites. II. Lois des grands nombres Il existe plusieurs versions de lois des grands nombres. Nous présentons, uniquement, les versions classiques telles qu’établies par les mathématiciens russes Khintchine (loi faible des grands nombres) et Kolmogorov (loi forte des grands nombres). II.1. Loi faible des grands nombres (Théorème de Khintchine) A l’origine, la loi faible des grands nombres fut établie par Jacob Bernoulli, qui l’avait méditée pendant près de vingt années. Notons également qu’à son époque, l’inégalité de Chebyshev n’était pas encore connue. Sa démonstration concernait particulièrement les variables ne prenant que deux valeur (0 ou 1). La version générale que nous présentons est attribuée au mathématicien russe Alexandre Iakovlevitch Khintchine. Soient

une suite de variables aléatoires indépendantes et identiquement distribuées telle que :

Pout tout

:

46 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Démonstration Pour démontrer le théorème de Khintchine, nous considérons deux hypothèses : -

Espérance commune et finie :

-

Variance commune et finie :

;

Ainsi, on a :

En appliquant l’inégalité de Chebyshev, il vient que :

II.2. Loi forte des grands nombres La loi forte des grands nombres fut démontrée pour la première fois par le mathématicien Émile Borel (Félix Édouard Justin) en 1909, en considérant les variables de Bernoulli. La version définitive fut posée et démontrée par le mathématicien russe Andreï Nikolaïevitch Kolmogorov, en 1929 et s’énonce comme suit. Soient

une suite de variables aléatoires indépendantes et identiquement distribuées et

d’espérance commune finie. Alors avec probabilité 1:

Ou encore,

Démonstration Supposons que

;

;

et

tel que

comprend les termes :

;

Puisque

;

;

et

où

sont différents.

(par indépendance stochastique), il s’ensuit que :

;

Considérant la paire

et

il vient qu’on a

et

termes dans le développement qui sont égaux à

Et donc :

Sachant que

il vient :

47 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Par conséquent, avec une probabilité égale à 1 :

La preuve est établie pour une moyenne. En général, pour aléatoires

il suffit de considérer les variables

Ainsi, on obtient le résultat recherché, en suivant la même démarche que

précédemment. Et donc, avec une probabilité égale à 1, on a :

III. Théorèmes centraux limites On doit le nom de théorème central limite au mathématicien américain (d’origine hongroise) George Pólya (1920). Il s’agit d’une méthode qui facilite le calcul approximatif de probabilités liées à des sommes de variables aléatoires et fournit une explication formelle du fait empirique selon lequel nombre de phénomènes naturels admettent une distribution gaussienne. Toutefois, notons qu’à l’origine, le théorème central limite, nommé « loi de fréquence des erreurs » fut établi et démontré par le mathématicien français Pierre – Simon Laplace, en 1809. Dans sa preuve, Laplace a montré que les erreurs de mesure tendaient à être normalement distribuées. Tout comme les lois des grands nombres, il existe plusieurs versions des théorèmes centraux limites. Nous retenons dans ce papier les cas les plus classiques, et directement utiles dans les démonstrations qui seront présentées dans les papiers ultérieurs. III.1. Théorème central limite (version restreinte) Soient

une suite de variables aléatoires indépendantes et identiquement distribuées et

d’espérance

et de variance

Alors la distribution de

tend vers la distribution normale, lorsque

soit :

Démonstration Pour procéder à la démonstration, nous considérons tout d’abord le cas où avant de généraliser par la suite. Soient De ce qui précède, la fonction génératrice de

et celle de

et

et

la fonction génératrice de

finie,

s’écrit donc :

est :

48 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

En posant

on a :

D’après le théorème en cause, on doit montrer que :

ou encore :

Ainsi :

Pour établir le résultat général, c’est – à – dire pour

et

quelconques, il suffit de considérer les

variables standards :

et appliquer la même démarche que précédemment, étant donné que : Ainsi s’achève la démonstration. III.2. Théorème central limite (version plus générale) Supposons, à présent, que les

sont indépendantes mais pas nécessairement identiquement

distribuées. Le théorème central limite s’énonce comme suit. Soient aléatoires d’espérances

et de variance

une suite de variables

En admettant que : (i) les variables

uniformément bornées, c’est – à – dire tel qu’il existe un réel

où

sont

; (ii)

Alors :

Avant de conclure, considérons la version multivariée du théorème central. Soit

une suite de

vecteurs aléatoires indépendants et identiquement distribués avec une moyenne vectorielle matrice de variance – covariance commune de

existe. Alors

et une

définie positive. On suppose que la fonction génératrice des moments

telle que :

converge en distribution vers la distribution

49 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Démonstration Pour procéder à la preuve, nous recourrons à la fonction génératrice des moments3. Considérons un vecteur

La fonction génératrice des moments de

est donnée par :

Par le théorème central limite (simple) :

Et, puisque :

est la fonction génératrice des moments de :

évaluée à 1, il s’ensuit que :

In fine, notons que ce papier sera complété par un autre exposé sur la notion de convergence, notamment, en probabilité et en distribution, de variables aléatoires –notions qui ont été supposées implicitement comme une donnée. Aussi, au passage, signalons qu’on désigne de fois le théorème central limite, par théorème de la limite central. Et remarquons, de ce fait, que c’est le théorème qui est central et non la limite !

3

Lire Mavungu et Tsasa (2012, One pager, vol. 4, num. 010) pour quelques détails sur la fonction génératrice des moments. Le papier est téléchargeable sur http://www.lareq.com. 50

Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Bibliographie 

ARNOLD Steven F, 1981, The Theory of Linear Models and Multivariate Analysis, New York: John Wiley and Sons Inc, 494p.



BOREL Émile, 1909, « Les probabilités dénombrables et leurs applications arithmétiques », Rendiconti del Circolo Matematico di Palermo, vol. 27, num. 1, décembre 1909, 247 – 271.



HAAVELMO Trygve, 1944, "The Probability Approch in Econometrics", Econometrica, vol. 12, Supplement, iii–vi+1 – 115.



HOGG Robert V., Joseph W. McKEAN and Allen T. CRAIG, 2013, Introduction to Mathematical Statistics, 7th edition, Pearson, Montreal, 694p.



KALNINA Ilze, 2012, Probabilités pour Economistes, ECN 7060 (Cours du cycle doctoral), Université de Montréal, Montréal..



KENDALL, Maurice G. and Alan STUART, 1979 (1958), The Advanced Theory of Statistics, Vol. 2 (vol. 1), New – York, Macmillan, 748p (433p).



MAATALAH Magid, 2010, Théoorie de la Mesure et Probabilités/Measure Theory and Probability (Avec Exercices et Problèmes Corrigés), éd. Universitaires européennes, Berlin.



MAVUNGU Marina et Jean – Paul TSASA, (décembre) 2012, « Fonction Génératrice des Moments d’une Variable Aléatoire : Analyse Conjointe des Cas Univarié, Bivarié et Multivarié », One Pager Laréq, vol. 4, num. 010, 62 – 70.



POLYA George, 1920, "Über den Zentralen Grenzwertsatz de Wahrscheinlichkeitscrechnungund das Momentenproblem", Math. Z., Tome 8, 171 – 181.



ROSS Sheldon M., 2009, Introduction aux Probabilités, Traduction de la septième édition américaine, Presses polytechniques et universitaires romandes, Lausanne, 592p.



RUDIN Walter, 1976, Principles of Mathematical Analysis, 3th edition, McGraw – Hill, New – York, 342p.

51 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Annexe Inégalité de Bernstein’s

Tableau A1 : Les inégalités célèbres en probabilités :

Inégalité de Prohov

:

Gaussian Tail Inequality

:

Inégalité de Hoeffding

:

avec probabilité indépendantes ; ; Inégalité de McDiarmid

;

; Moyenne commune

: variables aléatoires indépendantes ;

Inégalité d’Efron – Stein

: et variables aléatoires

sont indépendantes ;

; fonction mesurable de n-1 variable. Inégalité de Han

:

Inégalité de Sobolev

:

Bornes de de Berry – Essen

:

Inégalité intégrale de Van der Corput

Soit

:

-

constante ; variables aléatoires

-

fonction de répartition de

-

fonction de répartition de la loi normale.

; ;

; ; ;

:

52 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative

Inégalité de Bessel

Inégalité de Fréchet – Darmois – Cramér – Rao

-

famille orthogonale de vecteurs ; un vecteur de

-

: estimateur sans biais de

:

-

: : information de

Fisher. Inégalité de Gibbs

: -

Inégalité de Fano

: -

Inégalité de Paley – Zygmung

: distribution de probabilité quelconque sur la variable ; : probabilité de réalisation de et : variables aléatoires prenant valeurs possibles ; : probabilité d’erreur ; : entropie de Shannon de la loi de Bernoulli de paramètre

:

où Inégalité de Young

variable aléatoire de variance finie ;

:

Inégalité de Witinger

:

Inégalité de Bernoulli

:

où

et

réels positifs ;

où

nombre réel

;

nombre réel Inégalité de Nesbitt

:

53 Jean – Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative