# A tibble: 333 × 4
bill_length_mm bill_depth_mm flipper_length_mm body_mass_g
<dbl> <dbl> <int> <int>
1 39.1 18.7 181 3750
2 39.5 17.4 186 3800
3 40.3 18 195 3250
4 36.7 19.3 193 3450
5 39.3 20.6 190 3650
6 38.9 17.8 181 3625
# ℹ 327 more rowsAnalyse en Composantes Principales
2025-12-02
Si on savait faire une Analyse en Composantes Principales
L’ACP permet de trouver la projection en 2 dimensions qui préserve au mieux l’information contenue dans le nuage de points (avec peu de déformation).
Reste à comprendre
- Comment quantifier l’information contenue dans un nuage de points
- Comment est construite cette meilleure projection
- Quels sont les individus bien représentés ?
L’ACP définit de nouvelles variables, les composantes principales qui sont une combinaison linéaire des anciennes variables. On peut représenter les variables dans le premier plan de l’ACP.
Reste à comprendre
- Comment interpréter cette représentation ?
- Quelles sont les variables bien représentées ?
- Que peut-on déduire de ce graphique sur le lien entre les variables.
- Comment lier graphique des individus et graphique des variables
Deux points de vue complémentaires
Le nuage des individus \(C^n\)
On peut considérer qu’un individu \(i\) est un vecteur \(\class{alea}{\boldsymbol{x}_{i}}\) dans un espace de dimension \(p\). Par convention tous les vecteurs sont des vecteurs colonnes, donc on peut écrire
\[{\boldsymbol{X}}=\begin{pmatrix} \class{alea}{\boldsymbol{x}_{1}}^\top\\ \vdots \\ \class{alea}{\boldsymbol{x}_{n}}^\top\\ \end{pmatrix},\]
L’ensemble des \(n\) vecteurs forme le nuage des individus (ce qu’on représente classiquement).
Le nuage des variables \(C^p\)
On peut considérer qu’une variable \(j\) est un vecteur \(\class{orange}{\boldsymbol{x}^{j}}\) dans un espace de dimension \(n\) et on peut écrire
\[{\boldsymbol{X}}=\begin{pmatrix} \class{orange}{\boldsymbol{x}^{1}} & \ldots & \class{orange}{\boldsymbol{x}^{p}} \end{pmatrix},\]
L’ensemble des \(p\) vecteurs forme le nuage des variables.
Bien sûr les deux nuages sont intimement liés
Se donner des intuitions
Se donner des intuitions
Identifier \(\boldsymbol{u_1}\) - Formalisation
On cherche \(\boldsymbol{u_1}\) tel que \(I_{u_1}\) soit minimale mais \(I_{u_1} + I_{u_1^\perp}=I\). Minimiser \(I_{u_1}\) revient à maximiser \(I_{u_1^\perp}\), i.e l’inertie du nuage projeté.
- Le premier individu se projette en \(\class{alea}{x_{1}}^\top \boldsymbol{u_1}\) sur \(\boldsymbol{u_1}\)
- Le deuxième individu se projette en \(\class{alea}{x_{2}}^\top \boldsymbol{u_1}\) sur \(\boldsymbol{u_1}\)
- …
On rappelle que \[{\boldsymbol{X}}= \begin{pmatrix} \class{alea}{x_{1}}^\top \\ \vdots \\ \class{alea}{x_{n}}^\top \end{pmatrix}.\] La projection de l’individu \(i\) est obtenue en multipliant le vecteur ligne \(\class{alea}{x_{1}}^\top\) par \(\boldsymbol{u_1}\). Le vecteur des coordonnées sur \(\boldsymbol{u_1}\) pour chaque individu est
\[\begin{pmatrix} \class{alea}{x_{1}}^\top \boldsymbol{u_1} \\ \vdots \\ \class{alea}{x_{n}}^\top \boldsymbol{u_1} \end{pmatrix} = X \boldsymbol{u_1}.\]
Maximiser \(I_{u_1^\perp}\)
sous la contrainte \(\lVert\boldsymbol{u_1}\rVert\) \[\begin{align} I_{u_1^\perp} & = \frac{1}{n}\lVert X \boldsymbol{u_1}\rVert^2 \\ & = \frac{1}{n} (X \boldsymbol{u_1})^\top (X \boldsymbol{u_1})\\ & = \boldsymbol{u_1}^\top \left (\frac{1}{n} X^\top X \right) \boldsymbol{u_1} \end{align}\]
\(\frac{1}{n} X^\top X\) est la matrice de covariance, on écrit souvent \(\frac{1}{n} X^\top X\) sous la forme \(X^\top W X\) (\(W\) est une matrice diagonale, dont chaque terme diagonal vaut \(1/n\), \(W_{ii}\) est le poids attribué à l’observation \(i\)).
\(V= X^\top W X\) est symétrique et positive donc diagonalisable.
Il existe une matrice \(P\) unitaire \(P^\top P = I_p,\) et \(D\) une matrice diagonale telle que \[V = P D P^\top.\]
Les termes diagonaux de \(D\) sont les valeurs propres, toutes positives, de \(X^\top W X\) rangées par odre décroissant, \(\lambda_1 > \lambda_1 \ldots >\lambda_p\) et \(U\) est la matrice des vecteurs propres associés.
\(\boldsymbol{b}\) est une base orthonormale, la base formée par les vecteurs propres de \(X^\top W X\).
Représentation des individus - Composantes principales
On a les expressions suivantes \[ C^k=Xu_k \mbox{ et } C=XP, \] où \(P\) désigne la matrice de changement base, i.e la matrice contenant les vecteurs propres.
- Les \(C^k\) sont des combinaisons linéaires des variables de départ.
- Elles sont centrées, de variance \(\lambda_k=\sum_{i=1}^n w_i c_{ik}^2\) et non-corrélées 2 à 2.
- Les \(C^k\) sont vecteurs propres (non unitaires) de \(\frac{1}{n}X W X^\top\) de valeur propre \(\lambda_k\).
Représentation des manchots
X <- penguins |>
mutate(year = as.factor(year))|> ## year willnot be considered as numerical variable
select(where(is.numeric)) |> ## select all numeric columns
mutate_all(list(scale2)) |> ## and scale them
as.matrix()
n <- nrow(X) # number of individuals
d <- ncol(X)
penguins_svd <- svd( 1/n * t(X)%*% X ) # to get P and D from t(X)WX
## eigenvalues
penguins_eigenvalue <- penguins_svd$d
P <- penguins_svd$v
cp <- X %*% P
head(cp[, 1:2])
cat("\n")
head(penguins.PCA$ind$coord[,1:2])
#plot(penguins.PCA, choix = "ind", axes = c(1,2),invisible=c('ind.sup'),label =c('ind') )
library(factoextra)
fviz_pca_ind(penguins.PCA, label="none", addEllipses=FALSE)
[,1] [,2]
[1,] 1.853593 -0.03206938
[2,] 1.316254 0.44352677
[3,] 1.376605 0.16123048
[4,] 1.885288 0.01235124
[5,] 1.919981 -0.81759813
[6,] 1.773020 0.36622296
Dim.1 Dim.2
1 -1.853593 0.03206938
2 -1.316254 -0.44352677
3 -1.376605 -0.16123048
4 -1.885288 -0.01235124
5 -1.919981 0.81759813
6 -1.773020 -0.36622296Qualité de la représentation d’un individu
- Même avec ces précautions, on déforme le nuage de points
- Certains sont plus déformés que d’autre, il faut les identifier
Un individu est d’autant moins déformé qu’il est proche du plan sur lequel on le projette, ce qui est donné par l’angle entre le vecteur initial et le vteur projeté
\[\begin{align} <\class{alea}{x_i}, \boldsymbol{u_1}> &= \lVert\class{alea}{x_i}\rVert \lVert\boldsymbol{u_1}\rVert cos(\theta_i) \\ & = \class{alea}{x_i}^\top \boldsymbol{u_1}, \quad \left( \text{ou } \class{alea}{x_i}^\top M \boldsymbol{u_1} \text{avec une autre métrique} \right) \\ \end{align}\]
\[\cos^2(\theta_i) = \frac{(\class{alea}{x_i}^\top \boldsymbol{u_1})^2}{\lVert\class{alea}{x_i}\rVert^2}\]
Interprétation: plus \(\cos^2(\theta_i)\) est proche de \(1\), mieux l’individu est représenté.
Contribution d’un individu à la définition de l’axe
- Les individus sont plus ou moins important dans la définition des axes
Quels sont les points qui vont le plus contribuer à la détermination des axes ?
La contribution relative de l’observation \(\class{alea}{x_i}\) à la construction de l’axe principal \(k\) est la part d’inertie de l’axe \(k\) expliquée par \(\class{alea}{x_i}\) donnée par
\[Ctr(i, k) = \frac{1}{n} \frac{c_{ik}^2}{\lambda_k}.\] En effet \(\lambda_k = \frac{1}{n} \sum_{i=1}^n c_{ik}^2\) (ie. la variance du nuage projeté).
Remarque : si les individus ont des poids \(w_i\) alors \[Ctr(i, k) = \frac{w_i c_{ik}^2}{\lambda_k}.\]
Qualité de la représentation d’une variable sur un plan factoriel
- Une variable est bien représentée sur l’axe \(k\) si l’angle entre cette variable et la composante \(C^k\) est petit, son cosinus est proche de 1 ou -1.
Or \(<X^j, C^k> = \lVert X^j\rVert\lVert C^k\rVert cos(\theta_{jk})\)
\[\begin{align} <X^j, C^k> & = <(CP^\top)^j, C^k> \\ & = \underset{= (P C^\top)_j}{\underbrace{\left((CP^\top)^j\right)^\top}} C^k \\ \end{align}\]
Ainsi \(<X^j, C^k>\) est le \(j^\text{ème}\) terme du vecteur \(PC^\top C^k\), or \(C^\top C\) est diagonale avec \(\lVert C_k \rVert = n \lambda_k\), donc \((C^\top C)^k=(0, \dots, n\lambda_k, 0, \ldots)^\top\) et
\[\cos(\theta_{jk}) = \frac{n \lambda_k \boldsymbol{u_k^j}}{\sqrt{\lVert X^j\rVert^2 \, \lVert C_k\rVert^2}}= \sqrt{\lambda_k} \boldsymbol{u_k^j}, \quad \cos^2(\theta_{jk}) = \lambda_k{(\boldsymbol{u_k^j})^2}\]