# A tibble: 333 × 4
bill_length_mm bill_depth_mm flipper_length_mm body_mass_g
<dbl> <dbl> <int> <int>
1 39.1 18.7 181 3750
2 39.5 17.4 186 3800
3 40.3 18 195 3250
4 36.7 19.3 193 3450
5 39.3 20.6 190 3650
6 38.9 17.8 181 3625
# ℹ 327 more rowsAnalyse en Composantes Principales
2024-12-19
Voir c’est comprendre : comment représenter l’information contenue dans ce tableau ?
Idée 1 : on représente les liens des variables 2 à 2
Si on savait faire une Analyse en Composantes Principales
L’ACP permet de trouver la projection en 2 dimensions qui préserve au mieux l’information contenue dans le nuage de points (avec peu de déformation).
Reste à comprendre
- Comment quantifier l’information contenue dans un nuage de points
- Comment est construite cette meilleure projection
- Quels sont les individus bien représentés ?
L’ACP définit de nouvelles variables, les composantes principales qui sont une combinaison linéaire des anciennes variables. On peut représenter les variables dans le premier plan de l’ACP.
Reste à comprendre
- Comment interpréter cette représentation ?
- Quelles sont les variables bien représentées ?
- Que peut-on déduire de ce graphique sur le lien entre les variables.
- Comment lier graphique des individus et graphique des variables
Deux points de vue complémentaires
Le nuage des individus \(C^n\)
On peut considérer qu’un individu \(i\) est un vecteur \(\class{alea}{\boldsymbol{x}_{i}}\) dans un espace de dimension \(p\). Par convention tous les vecteurs sont des vecteurs colonnes, donc on peut écrire
\[{\boldsymbol{X}}=\begin{pmatrix} \class{alea}{\boldsymbol{x}_{1}}^\top\\ \vdots \\ \class{alea}{\boldsymbol{x}_{n}}^\top\\ \end{pmatrix},\]
L’ensemble des \(n\) vecteurs forme le nuage des individus (ce qu’on représente classiquement).
Le nuage des variables \(C^p\)
On peut considérer qu’une variable \(j\) est un vecteur \(\class{orange}{\boldsymbol{x}^{j}}\) dans un espace de dimension \(n\) et on peut écrire
\[{\boldsymbol{X}}=\begin{pmatrix} \class{orange}{\boldsymbol{x}^{1}} & \ldots & \class{orange}{\boldsymbol{x}^{p}} \end{pmatrix},\]
L’ensemble des \(p\) vecteurs forme le nuage des variables.
Bien sûr les deux nuages sont intimement liés
L’inertie par rapport à un axe
L’inertie par rapport à l’axe \(\Delta\) quantifie l’information perdue lorsque l’on résume le nuage de points à son projeté sur \(\Delta\).
Identifier \(\Delta\) tel que \(I_{\Delta}\) soit minimale
Ce qui revient à l’axe \(\Delta\) qui assure que la projection sur \(\Delta\) déforme le moins possible le nuage de points.
Dans le cadre de l’ACP, on veut construire une ensemble d’axes orthogonaux (une nouvelle base de \({\mathbb{R}}^p\)), de façon à ce que
- la projection sur le premier axe, soit le meilleur résumé du nuage de points en une dimension,
- le deuxième axe est orthogonal au premier et représente “le deuxième meileur choix” …. dans un sens que l’on va définir
- le troisième …
Produit scalaire : Soient deux élements \(\boldsymbol{x}\) et \(\boldsymbol{y}\) de \(\mathbb{R}^p\), le produit scalaire est noté \(<\boldsymbol{x},\boldsymbol{y}>\) et \(<\boldsymbol{x},\boldsymbol{y}>=\sum_{i=1}^p x_i y_i = \boldsymbol{x}^\top \boldsymbol{y}.\)
Orthogonalité Soient deux élements \(\boldsymbol{x}\) et \(\boldsymbol{y}\) de \(\mathbb{R}^p\), on dit que \(\boldsymbol{x}\) et \(\boldsymbol{y}\) sont orthogonaux (noté \(\boldsymbol{x}\perp \boldsymbol{y}\)) si \(<\boldsymbol{x},\boldsymbol{y}> = \boldsymbol{x}^\top \boldsymbol{y}=0\).
Projection orthogonale On note \(\boldsymbol{a}_u\) le projeté de \(\boldsymbol{a}\) sur la droite \(\Delta\) définit par son vecteur directeur unitaire \(\boldsymbol{u}\) et passant par l’origine \[\boldsymbol{a}_u = < \boldsymbol{a}, \boldsymbol{u} > \boldsymbol{u} = (\boldsymbol{a}^\top \boldsymbol{u})\, \boldsymbol{u}.\] Le vecteur \(\boldsymbol{a_u}\) est orthogonal à \(\boldsymbol{a}-\boldsymbol{a_u}\): \[< \boldsymbol{a_u}, \boldsymbol{a}-\boldsymbol{a_u}> = \left ((\boldsymbol{a}^\top \boldsymbol{u}) \boldsymbol{u}\right)^\top \left ( \boldsymbol{a} - (\boldsymbol{a}^\top \boldsymbol{u})\, \boldsymbol{u} \right)=(\boldsymbol{a}^\top \boldsymbol{u}) (\boldsymbol{u}^\top \boldsymbol{a}) - (\boldsymbol{a}^\top \boldsymbol{u})^2 \boldsymbol{u}^\top \boldsymbol{u} =0 \]
Décomposition de l’inertie
Soit \(E\) un sous espace vectoriel de \({\mathbb{R}}^p\), alors \[I = I_E + I_{E^\perp}.\]
Preuve
Un dessin vaut mieux qu’un long discours et Pythagore est ton ami !
\[d(\class{alea}{\boldsymbol{x}_{i}}, O)^2 = d(\boldsymbol{x}_{i}, \class{bleu}{\boldsymbol{x}_{i}^E})^2 + d(\class{alea}{\boldsymbol{x}_{i}}, \class{rouge}{\boldsymbol{x}_{i}^{E^\perp}})^2.\]
\[\begin{align} I & = \frac{1}{n} \sum_{i=1}^n d(\class{alea}{\boldsymbol{x}_{i}}, O)^2 \\ & = \frac{1}{n} \sum_{i=1}^n d(\class{alea}{\boldsymbol{x}_{i}}, \class{bleu}{\boldsymbol{x}_{i}^E})^2 + \frac{1}{n} \sum_{i=1}^n d(\class{alea}{\boldsymbol{x}_{i}}, \class{rouge}{\boldsymbol{x}_{i}^{E^\perp}})^2 \\ & = \class{bleu}{I_E} + \class{rouge}{I_{E^\perp}} \end{align}\]
Se donner des intuitions
Se donner des intuitions
Identifier \(\boldsymbol{u_1}\) - Formalisation
On cherche \(\boldsymbol{u_1}\) tel que \(I_{u_1}\) soit minimale mais \(I_{u_1} + I_{u_1^\perp}=I\). Minimiser \(I_{u_1}\) revient à maximiser \(I_{u_1^\perp}\), i.e l’inertie du nuage projeté.
- Le premier individu se projette en \(\class{alea}{x_{1}}^\top \boldsymbol{u_1}\) sur \(\boldsymbol{u_1}\)
- Le deuxième individu se projette en \(\class{alea}{x_{2}}^\top \boldsymbol{u_1}\) sur \(\boldsymbol{u_1}\)
- …
On rappelle que \[{\boldsymbol{X}}= \begin{pmatrix} \class{alea}{x_{1}}^\top \\ \vdots \\ \class{alea}{x_{n}}^\top \end{pmatrix}.\] La projection de l’individu \(i\) est obtenue en multipliant le vecteur ligne \(\class{alea}{x_{1}}^\top\) par \(\boldsymbol{u_1}\). Le vecteur des coordonnées sur \(\boldsymbol{u_1}\) pour chaque individu est
\[\begin{pmatrix} \class{alea}{x_{1}}^\top \boldsymbol{u_1} \\ \vdots \\ \class{alea}{x_{n}}^\top \boldsymbol{u_1} \end{pmatrix} = X \boldsymbol{u_1}.\]
Maximiser \(I_{u_1^\perp}\)
sous la contrainte \(\lVert\boldsymbol{u_1}\rVert\) \[\begin{align} I_{u_1^\perp} & = \frac{1}{n}\lVert X \boldsymbol{u_1}\rVert^2 \\ & = \frac{1}{n} (X \boldsymbol{u_1})^\top (X \boldsymbol{u_1})\\ & = \boldsymbol{u_1}^\top \left (\frac{1}{n} X^\top X \right) \boldsymbol{u_1} \end{align}\]
\(\frac{1}{n} X^\top X\) est la matrice de covariance, on écrit souvent \(\frac{1}{n} X^\top X\) sous la forme \(X^\top W X\) (\(W\) est une matrice diagonale, dont chaque terme diagonal vaut \(1/n\), \(W_{ii}\) est le poids attribué à l’observation \(i\)).
\(X^\top W X\) est symétrique et définie positive donc diagonalisable.
Il existe une matrice \(P\) unitaire \(P^\top P = I_p,\) et \(D\) une matrice diagonale telle que \[X^\top W X = P D P^\top.\]
Les termes diagonaux de \(D\) sont les valeurs propres, toutes positives, de \(X^\top W X\) rangées par odre décroissant, \(\lambda_1 > \lambda_1 \ldots >\lambda_p\) et \(U\) est la matrice des vecteurs propres associés.
\(\boldsymbol{b}\) est une base orthonormale, la base formée par les vecteurs propres de \(X^\top W X\).
Représentation des individus - Composantes principales
On a les expressions suivantes \[ C^k=Xu_k \mbox{ et } C=XP, \] où \(P\) désigne la matrice de changement base, i.e la matrice contenant les vecteurs propres.
- Les \(C^k\) sont des combinaisons linéaires des variables de départ.
- Elles sont centrées, de variance \(\lambda_k=\sum_{i=1}^n p_i c_{ik}^2\) et non-corrélées 2 à 2.
- Les \(C^k\) sont vecteurs propres de \(XX^\top\) de valeur propre \(\lambda_k\).
Représentation des manchots
X <- penguins |>
mutate(year = as.factor(year))|> ## year willnot be considered as numerical variable
select(where(is.numeric)) |> ## select all numeric columns
mutate_all(list(scale2)) |> ## and scale them
as.matrix()
n <- nrow(X) # number of individuals
d <- ncol(X)
penguins_svd <- svd( 1/n * t(X)%*% X ) # to get P and D from t(X)WX
## eigenvalues
penguins_eigenvalue <- penguins_svd$d
P <- penguins_svd$v
cp <- X %*% P
head(cp[, 1:2])
cat("\n")
head(penguins.PCA$ind$coord[,1:2])
#plot(penguins.PCA, choix = "ind", axes = c(1,2),invisible=c('ind.sup'),label =c('ind') )
library(factoextra)
fviz_pca_ind(penguins.PCA, label="none", addEllipses=FALSE)
[,1] [,2]
[1,] 1.853593 -0.03206938
[2,] 1.316254 0.44352677
[3,] 1.376605 0.16123048
[4,] 1.885288 0.01235124
[5,] 1.919981 -0.81759813
[6,] 1.773020 0.36622296
Dim.1 Dim.2
1 -1.853593 0.03206938
2 -1.316254 -0.44352677
3 -1.376605 -0.16123048
4 -1.885288 -0.01235124
5 -1.919981 0.81759813
6 -1.773020 -0.36622296Qualité de la représentation d’un individu
- Même avec ces précautions, on déforme le nuage de points
- Certains sont plus déformés que d’autre, il faut les identifier
Un individu est d’autant moins déformé qu’il est proche du plan sur lequel on le projette, ce qui est donné par l’angle entre le vecteur initial et le vteur projeté
\[\begin{align} <\class{alea}{x_i}, \boldsymbol{u_1}> &= \lVert\class{alea}{x_i}\rVert \lVert\boldsymbol{u_1}\rVert cos(\theta_i) \\ & = \class{alea}{x_i}^\top \boldsymbol{u_1}, \quad \left( \text{ou } \class{alea}{x_i}^\top M \boldsymbol{u_1} \text{avec une autre métrique} \right) \\ \end{align}\]
\[\cos^2(\theta_i) = \frac{(\class{alea}{x_i}^\top \boldsymbol{u_1})^2}{\lVert\class{alea}{x_i}\rVert^2}\]
Interprétation: plus \(\cos^2(\theta_i)\) est proche de \(1\), mieux l’individu est représenté.
Contribution d’un individu à la définition de l’axe
- Les individus sont plus ou moins important dans la définition des axes
Quels sont les points qui vont le plus contribuer à la détermination des axes ?
La contribution relative de l’observation \(\class{alea}{x_i}\) à la construction de l’axe principal \(k\) est la part d’inertie de l’axe \(k\) expliquée par \(\class{alea}{x_i}\) donnée par
\[Ctr(i, k) = \frac{1}{n} \frac{c_{ik}^2}{\lambda_k}.\] En effet \(\lambda_k = \frac{1}{n} \sum_{i=1}^n c_{ik}^2\) (ie. la variance du nuage projeté).
Remarque : si les individus ont des poids \(w_i\) alors \[Ctr(i, k) = \frac{w_i c_{ik}^2}{\lambda_k}.\]
Qualité de la représentation d’une variable sur un plan factoriel
- Une variable est bien représentée sur l’axe \(k\) si l’angle entre cette variable et la composante \(C^k\) est petit, son cosinus est proche de 1 ou -1.
Or \(<X^j, C^k> = \lVert X^j\rVert\lVert C^k\rVert cos(\theta_{jk})\)
\[\begin{align} <X^j, C^k> & = <(CP^\top)^j, C^k> \\ & = \underbrace{\left((CP^\top)^j\right)^\top}{= (P C^\top)_j} C^k \\ \end{align}\]
Ainsi \(<X^j, C^k>\) est le \(j^\text{ème}\) terme du vecteur \(PC^\top C^k\), or \(C^\top C\) est diagonale avec \(C_k^k = n lambda_k\), donc \(C^\top C^k=(0, \dots, n\lambda_k, 0, \ldots)\) et
\[\cos(\theta_{jk}) = \frac{n \lambda_k \boldsymbol{u_k^j}}{\sqrt{\lVert X^j\rVert^2 \, \lVert C_k\rVert^2}}= \sqrt{\lambda_k} \boldsymbol{u_k^j}, \quad \cos^2(\theta_{jk}) = \lambda_k{(\boldsymbol{u_k^j})^2}\]