MASS UE22 – Henri IMMEDIATO Cours de Probabilité et Statistique

PROBABILITE - STATISTIQUE

Chapitre I - REGRESSION ORTHOGONALE DANS R².
(Suite)

I. 3. REGRESSION ORTHOGONALE. AXE PRINCIPAL.

Soit ² l'espace des individus, muni du produit scalaire canonique et de la base canonique {e₁, e₂} qui, on l'a vu, est orthonormée pour ce produit scalaire.
Si aucune des variables statistiques, X ou Y ne peut s'interpréter par rapport à l'autre, il n'y a pas de raison de privilégier la régression linéaire de Y par rapport à X ou la régression linéaire de X par rapport à Y.
Nous sommes alors conduits à un autre point de vue, celui de la réduction des données.

1.3.1. Introduction.

Nous cherchons alors dans ² une droite (D) qui minimise la somme S_^ ² des carrés des distances des points du nuage de points à la droite.
La solution est donnée par la droite de régression orthogonale.

a) Calcul du terme constant a.

L'équation de la droite de régression orthogonale est de la forme y = a + b x.

b est la tangente de l'angle de la droite avec l'axe des abscisses : b = tan a.
|| M_i m_i || ² = cos ² a (y_i – a – b x_i) ² = (y_i – a – b x_i) ²
En introduisant le point moyen (, ), on peut écrire :

|| M_i m_i || ² = × (y_i – – b (x_i – ) + ( – a – b )) ²
     = × (y_i – – b (x_i – )) ² + ( – a – b ) ² + 2 × ( – a – b ) (y_i – – b (x_i – )

Les relations = y_i et = x_i entraînent que le dernier terme de la somme est nul.
Il reste :

|| M_i m_i || ² = × (y_i – – b (x_i – )) ² + ( – a – b ) ²

Quel que soit la valeur de b, cette somme sera la plus petite possible lorsque le deuxième terme est nul : = a + b .
Ce résultat signifie que le point moyen est sur la droite de régression orthogonale et que, lorsque b est connu, le terme constant a est donné par :

a = – b

Puisque le point moyen G = (, ) est sur la droite de régression orthogonale, nous le prendrons comme origine dans ².
La droite de régression orthogonale a une équation de la forme

avec y₀ = y – et x₀ = x – .

b) Analyse en composantes principales (ACP).

En fait, la forme de la relation précédente fait disparaître la symétrie initiale entre les rôles de X et Y : ce n'est pas sous cette forme que nous exprimerons l'équation de la droite (D) de régression orthogonale.

Etant donnée une droite (D) passant par l'origine G, on considère plutôt le vecteur unitaire de ² orthogonal à la droite (D) :

u₁ = , avec a ² + b ² = 1.

Le vecteur unitaire u porté par la droite (D) est u = .
La droite (D) est l'ensemble des points M = (x, y) vérifiant < u₁ | > = 0, soit a x₀ + b y₀ = 0.

Etant donné un point M_i du nuage de points et sa projection orthogonale m_i sur la droite D, le vecteur est le projeté orthogonal de sur le vecteur u : = < | u > u = (b x_i0 – a y_i0)

= – = – (b x_i0 – a y_i0) = = = (a x_i0 + b y_i0)
|| || ² = (a x_i0 + b y_i0) ² (a b) = (a x_i0 + b y_i0) ² (a ² + b ²) = (a x_i0 + b y_i0) ²
|| M_i m_i || ² = (a x_i0 + b y_i0) ² = < a X₀ + b Y₀ | D | a X₀ + b Y₀ > = || a X₀ + b Y₀ ||.

La recherche de la droite de régression orthogonale se ramène donc à une question que l'on peut envisager d'un double point de vue :

— soit rechercher, dans l'espace des individus ², un vecteur unitaire u₁ = , avec a ² + b ² = 1, qui minimise la somme

S_^ ² = || M_i m_i || ² = (a x_i0 + b y_i0) ²,

— soit rechercher, dans l'espace des variables ⁿ, un vecteur a X₀ + b Y₀, combinaison linéaire fictive des deux variables centrées X₀ et Y₀, avec a ² + b ² = 1, qui minimise || a X₀ + b Y₀ ||, c'est-à-dire un vecteur de l'hyperplan défini par X₀ et Y₀, de norme minimum pour le produit scalaire défini par la matrice diagonale D, sous la contrainte a ² + b ² = 1.

Sous la deuxième forme, la résolution du problème est appelée l'analyse en composantes principales.

1.3.2. Définitions.

Appellons Z la matrice des variables centrées,

a) Inertie totale.

On appelle inertie totale du nuage de points de ² par rapport à l'origine G des axes, la quantité :

I_T = || || ² = (x_i0 ² + y_i0 ²) = s ² (X) + s ² (Y).

b) Inertie statistique.

On appelle inertie statistique du nuage de points de ² par rapport à une direction D de ² définie par un vecteur unitaire u, la quantité :

I_S (u) = || || ²

où est le projeté orthogonal de sur u.

Le rapport est le taux d'inertie totale expliquée par la direction u.

Par exemple, l'inertie statistique du nuage de points par rapport à l'axe des x est la variance de X et l'inertie statistique du nuage de points par rapport à l'axe des y est la variance de Y.

c) Inertie mécanique.

On appelle inertie mécanique du nuage de points de ² par rapport à une direction D définie par un vecteur unitaire u, la quantité :

I_M (u) = || || ²

où est le projeté orthogonal de sur u.

Par exemple, l'inertie mécanique du nuage de points par rapport à l'axe des x est la variance de Y et l'inertie mécanique du nuage de points par rapport à l'axe des y est la variance de X.

Le théorème de Pythagore || || ² = || || ² + || || ² entraîne :

d) Axes principaux, ou factoriels.

On appelle premier axe factoriel du nuage de points de ², l'axe dont la direction définie par un vecteur unitaire u maximise l'inertie statistique I_S (u).
La direction définie par le vecteur u est appelée la direction principale, ou direction factorielle.

On remarquera que, comme le premier axe factoriel maximise I_S (u), il minimise I_M (u) : il donne donc la solution de notre problème, c'est-à-dire la droite de régression orthogonale.

e) Matrice des variances-covariances.

Pour u = , l'inertie statistique I_S (u) = || || ² s'écrit, avec = < | u > u = (b x_i0 – a y_i0) , sous la forme :

I_S (u) = (b x_i0 – a y_i0) ² = b ² × x_i0² + a ² × y_i0² – 2 a b × x_i0 y_i0

Et comme on sait que :

x_i0² = s ² (X), y_i0² = s ² (Y), x_i0 y_i0 = Cov (X, Y),

l'inertie statistique devient :

I_S (u) = b ² s ² (X) + a ² s ² (Y) – 2 a b Cov (X, Y) = (b –a) = ^tu A u

La matrice

A = =

s'appelle la matrice des variances-covariances.
En introduisant la matrice Z = des variables centrées, la matrice des variances-covariances s'écrit sous les formes :

A = = = tZ Z = tZ D Z

et l'inertie totale est la trace de cette matrice, somme des éléments diagonaux s ² (X) et s ² (Y) :

1 ^e remarque : valeurs propres.

La matrice des variances-covariances A est, comme on le voit, symétrique réelle.
Une valeur propre de A est un nombre réel l tel qu'il existe un vecteur v non nul vérifiant A v = l v.
Les valeurs propres de A sont donc les nombres réels l tels que le noyau de l'endomorphisme (application linéaire de ² dans ²) défini par la matrice A – l I₂ ne soit pas réduit à 0.
Dire que le noyau n'est pas réduit à 0, c'est dire que l'application linéaire n'est pas injective, donc qu'elle n'est pas bijective (puisque, dans ², injective = bijective) : pour cela, il faut et il suffit que son déterminant soit nul.
Les valeurs propres sont donc les solutions de l'équation :

Le discriminant de cette équation du deuxième degré est :

La matrice A possède donc, ainsi qu'on l'avait déjà dit pour toute matrice symétrique réelle, deux valeurs propres réelles l₁ et l₂ :
— la somme de ces valeurs propres est la trace de la matrice, somme des éléments de la première diagonale :
l₁ + l₂ = s ² (X) + s ² (Y) ³ 0.
— le produit de ces valeurs propres est le déterminant de la matrice :
l₁ l₂ = s ² (X) s ² (Y) – (Cov (X, Y)) ² ³ 0 (d'après l'inégalité de Schwarz).

Les deux valeurs propres de la matrice des variances-covariances sont donc des nombres réels positifs : il est très improbable que l'une soit nulle (il faudrait, pour cela, que le coefficient de corrélation linéaire soit rigoureusement égal à 1, en valeur absolue, ce qui ne saurait se produire que si X et Y sont déduits l'un de l'autre par une relation linéaire, ou si X et Y sont constantes. Il est très improbable aussi que les deux valeurs propres soient égales : il faudrait pour cela que la covariance de X et Y soit strictement égale à 0 et que les variances de X et Y soient strictement égales, ce qui ne se produit jamais en pratique.

Dans le cas général, on peut donc appeler l₁ et l₂ les valeurs propres de la matrice des variances-covariances, rangées par ordre décroissant :

l1 = s ² (X) + s ² (Y) + l2 = s ² (X) + s ² (Y) –

2 ^e remarque : vecteurs propres.

On démontre aussi, en algèbre, que ² possède une base propre orthonormée, c'est-à-dire une base { u₁, u₂ }, orthonormée pour le produit scalaire canonique, formée de vecteurs propres de la matrice A :

avec

Ces vecteurs propres peuvent se calculer.
Soit l une valeur propre. On a :

= = = = 0

donc le vecteur est un vecteur propre pour la valeur propre l.
Le carré de la norme de ce vecteur pour le produit scalaire canonique est donné par :

(s ² (Y) – l   – Cov (X, Y)) = (s ² (Y) – l) ² + (Cov (X, Y)) ²

On peut donc prendre pour vecteur normé relatif à la valeur propre l, le vecteur

u =

Le produit scalaire des deux vecteurs propres ainsi obtenu est nul, parce que la relation l₁ + l₂ = s ² (X) + s ² (Y) entraîne :

(s ² (Y) – l₁     – Cov (X, Y)) = (l₂ – s ² (X)     – Cov (X, Y)) = – Dét (A – l₂ I₂) = 0

Les deux vecteurs et forment une base de ² parce que le déterminant de leurs coordonnées n'est pas nul :

de sorte que les deux vecteurs ne sont pas proportionnels.

Les deux vecteurs :

u1 = u2 =

forment donc une base propre orthonormée de ².

Remarquons que, au lieu de prendre pour vecteur propre pour la valeur propre l, le vecteur , on aurait pu prendre aussi le vecteur qui lui est proportionnel (le déterminant de la matrice de ces vecteurs est le déterminant de la matrice A – l I₂).

I.3.3. Diagonalisation de la matrice des variances-covariances.

Soit V = la matrice des coordonnées des vecteurs propres u₁ et u₂.

V donne, par produits, pour image d'une base orthonormée, une base orthonormée : c'est ce qu'on appelle une matrice "orthogonale", ce qui veut dire que son inverse est égale à sa transposée :

Pour le vérifier, remarquons que, puisque les bases { e₁, e₂ } et { u₁, u₂ } sont orthonormées, les coordonnées des vecteurs s'obtiennent par produits scalaires :

de sorte que la matrice V, qui a, pour colonnes, les vecteurs u₁ et u₂ dans la base { e₁, e₂ }, est :

V =

et les relations inverses :

montrent que la matrice inverse de V est la matrice :

V ^–1 =

qui, compte tenu de la symétrie du produit scalaire, est la transposée de V.

V ^–1 = = ^tV

Il résulte alors des relations V e₁ = u₁ et V e₂ = u₂, que l'on a :

Considérons maintenant la matrice L = , matrice diagonale des valeurs propres de A.
A est la matrice, dans la base canonique { e₁, e₂ }, d'un endomorphisme f.
Cet endomorphisme f se réduit à deux homothéties, de rapport l₁ selon le vecteur u₁, et de rapport l₂ selon le vecteur u₂.
L est donc la matrice, dans la base propre { u₁, u₂ }, de l'endomorphisme f.
La matrice de l'application identique de ² muni de la base { u₁, u₂ } dans ² muni de la base { e₁, e₂ } donne, par produits, pour image du vecteur u₁ = le vecteur u₁ = et, pour image du vecteur u₂ = le vecteur u₂ = . C'est donc la matrice V des vecteurs propres.

V = [ Id, { u₁, u₂ }, { e₁, e₂ }].

Réciproquement, la matrice de l'application identique de ² muni de la base { e₁, e₂ } dans ² muni de la base { u₁, u₂ } donne, par produits, pour image du vecteur e₁ = le vecteur e₁ = et, pour image du vecteur e₂ = le vecteur e₂ = . C'est donc la matrice ^tV transposée et inverse de la matrice V des vecteurs propres.

^tV = [ Id, { e₁, e₂ }, { u₁, u₂ }].

Le diagramme commutatif suivant :

2 , { e1, e2 }		2 , { e1, e2 }
2 , { u1, u2 }		2 , { u1, u2 }

met en évidence la relation f = Id o f o Id.
En termes de produit de matrices, cette relation s'écrit :

d'où l'on déduit aussitôt

On dit qu'on a diagonalisé la matrice A.

I.3.4. Recherche des axes principaux.

Pour un vecteur normé u, posons v = V u.
On a ^tv = ^tu ^tV.

Le vecteur v est normé lui aussi.

L'inertie statistique par rapport à u s'écrit :

Dans ² rapporté à la base { u₁, u₂ }, notons v = .

I_S (u) = ^tv L v = (v₁     v₂) = l₁ v₁² + l₂ v₂²,
avec v₁² + v₂² = 1

Le problème de la recherche de la droite de régression orthogonale se ramène maintenant à la résolution du problème suivant :

C'est maintenant un problème facile à résoudre :

La quantité l₁ – (l₁ – l₂) v₂² avec l₁ > l₂ atteint sa valeur maximum l₁ lorsqu'on prend v₂ = 0, donc | v₁ | = 1.
La direction du premier axe factoriel est donc définie par le vecteur v de coordonnées dans la base { u₁, u₂ } : v = u₁.

D'où le résultat, qu'on peut énoncer sous forme de théorème :

Le premier axe factoriel est la droite de régression orthogonale.

Comme corollaire, la direction perpendiculaire au premier axe factoriel définit le deuxième axe factoriel : elle est définie par le vecteur propre associé à la plus petite valeur propre de la matrice des variances-covariances.
Le deuxième axe factoriel minimise l'inertie statistique I_S (u) : I_S (u) = l₂ lorsque | v₂ | = 1, donc v₁ = 0 et v = = u₂ par exemple (on pourrait prendre aussi, bien sûr, v = – u₂, la direction définie serait la même).

Le taux d'inertie totale expliquée par le premier axe factoriel est le rapport = = .
Le taux d'inertie totale expliquée par le deuxième axe factoriel est le rapport = = .

La relation l₁ + l₂ = s ² (X) + s ² (Y) (la somme des valeurs propres est la trace de la matrice des variances-covariances) s'écrit :

La somme des inerties statistiques par rapport aux deux axes factoriels est l'inertie totale du nuage de points.
Chaque valeur propre de la matrice des variances-covariances correspond à l'inertie expliquée par l'axe factoriel correspondant.

I.3.5. Coordonnées factorielles et composantes principales.

Dans ² rapporté à la base propre orthonormée { u₁, u₂ }, les coordonnées des vecteurs s'appellent les coordonnées factorielles.
Comme la base { u₁, u₂ } est orthonormée, les coordonnées factorielles s'obtiennent par produit scalaire :

= < | u₁ > u₁ + < | u₂ > u₂

Or la base canonique { e₁, e₂ } est, elle-même, orthonormée et l'on a, par conséquent :

= < | e₁ > e₁ + < | e₂ > e₂ = x_i0 e₁ + y_i0 e₂

d'où :

< | u₁ > = x_i0 < e₁ | u₁ > + y_i0 < e₂ | u₁ >
< | u₂ > = x_i0 < e₁ | u₂ > + y_i0 < e₂ | u₂ >

Les coordonnées factorielles s'obtiennent donc par la formule matricielle :

= = ^tV

= tV = tV

La matrice ^tV est ce qu'on appelle la matrice du changement de base.
Elle donne les nouvelles coordonnées (sur la base { u₁, u₂ }) en fonction des anciennes (sur la base { e₁, e₂ }).
Nous avons vu plus haut que cette matrice est la matrice de l'application identique, de ² muni de la base { u₁, u₂ } dans ² muni de la base { e₁, e₂ }.

Les relations :

( < | u₁ >   < | u₂ >) = = ^tV = (x_i0   y_i0) V, pour i Î { 1, ... , n },

peuvent se condenser en une seule formule matricielle :

formule dans laquelle :

L =

est la matrice, à n lignes et 2 colonnes, dont les lignes sont les coordonnées factorielles du nuage de points dans ² muni de la base { u₁, u₂ },

Z =

est la matrice, à n lignes et 2 colonnes, dont les colonnes sont les variables centrées X – et Y – ,

V =

est la matrice des coordonnées des vecteurs propres orthonormés { u₁, u₂ } de la matrice des variances-covariances, dans la base canonique { e₁, e₂ }.

Les deux colonnes de la matrice L sont des éléments de l'espace des variables ⁿ : on les appelle les composantes principales de la variable statistique (X, Y).

La première colonne de la matrice V est le vecteur propre u₁.
La première colonne de la matrice L = Z V est donc le vecteur L₁ = Z u₁.
De même, la deuxième colonne de la matrice L est le vecteur L₂ = Z u₂.
Les deux composantes principales L₁ et L₂ de la variable statistique (X, Y) s'obtiennent ainsi par les formules :

L1 = u1 = L2 = u2 =

avec les valeurs propres l₁ et l₂ de la matrice

A = = ^tZ Z = ^tZ D Z =

des variances-covariances :

l₁ = s ² (X) + s ² (Y) +
l₂ = s ² (X) + s ² (Y) –

I.3.6. Propriétés des composantes principales.

a) Les composantes principales sont centrées.

= < L₁ | D | _n > = < Z u₁ | _n > = ^t(Z u₁) _n = ^tu₁ ^tZ _n
^tZ _n = = =

puisque les variable X₀ et Y₀ sont centrées.
Il reste donc :

= ^tu₁ = 0

De même :

= < L₂ | D | _n > = < Z u₂ | _n > = ^t(Z u₂) _n = ^tu₂ ^tZ _n = ^tu₂ = 0.

b) La variance d'une composante principale est la valeur propre correspondante.

Comme les composantes principales sont centrées, leur variance est le carré de leur norme pour le produit scalaire défini par D :

s ² (L₁) = || L₁ || = < L₁ | D | L₁ > = ^tL₁ L₁ = ^tu₁ ^tZ Z u₁
^tZ Z = A
s ² (L₁) = ^tu₁ A u₁ = ^tu₁ l₁ u₁ = l₁ || u₁ || ² = l₁

De même :

s ² (L₂) = < L₂ | D | L₂ > = ^tL₂ L₂ = ^tu₂ ^tZ Z u₂
     = ^tu₂ A u₂ = ^tu₂ l₂ u₂ = l₂ || u₂ || ² = l₂

c) Les composantes principales sont non corrélées.

Cov (L₁, L₂) = < L₁ | D | L₂ > = ^tL₁ L₂ = ^tu₁ ^tZ Z u₂
     = ^tu₁ A u₂ = < u₁ | u₂ > = 0

puisque les vecteurs u₁ et u₂ sont orthogonaux pour le produit scalaire canonique.

d) Reconstruction des données.

Les points du nuage centré sont définis par les vecteurs

= x_i0 e₁ + y_i0 e₂ = < | u₁ > u₁ + < | u₂ > u₂.

Les projetés orthogonaux de ces vecteurs sur l'axe principal défini par u₁ sont les vecteurs :

= < | u₁ > u₁ = < | u₁ > (< u₁ | e₁ > e₁ + < u₁ | e₂ > e₂)

Les vecteurs = + forment ce qu'on appelle l'approximation de rang 1 du nuage de points dans ².
Les points m_i sont les projections orthogonales des points M_i sur la droite de régression orthogonale.

L'équation de la droite de régression orthogonale, sur laquelle se situe l'approximation de rang 1 du nuage de points, peut prendre l'une des formes équivalentes :

< | u₂ > = 0
(x – ) (s ² (Y) – l₂) = (y – ) Cov (X, Y)
(x – ) (l₁ – s ² (X)) = (y – ) Cov (X, Y)
(x – ) Cov (X, Y) = (y – ) (s ² (Y) – l₁)
(x – ) Cov (X, Y) = (y – ) (l₂ – s ² (X))