ACP, t-SNE ou UMAP : lequel utiliser ?

Questions d’entrevue Apprentissage non supervisé

Seniorreductionvisualisationacp

La distinction qui structure la réponse : l’ACP est une méthode de réduction de dimension, t-SNE et UMAP sont des méthodes de visualisation. Les confondre conduit à des erreurs d’interprétation.

ACPt-SNEUMAP
Naturelinéairenon linéairenon linéaire
Préservevariance, distances globalesvoisinages locauxlocal et, en partie, global
Déterministeouinonnon
Nouveaux pointsimmédiatnon prévupossible
Coûtfaibleélevémodéré
Usageprétraitementfigurefigure, et parfois prétraitement

Ce que chacun fait

L’ACP cherche les directions de plus grande variance. Elle est déterministe, réversible, peu coûteuse, et ses distances gardent un sens : deux points éloignés sur le graphique sont réellement éloignés. C’est la seule des trois qui puisse servir de prétraitement sans précaution particulière, et la seule dont les axes s’interprètent.

t-SNE cherche une disposition en deux dimensions qui préserve les voisinages proches. Il révèle magnifiquement les groupes, au prix de trois défauts qu’il faut connaître : la distance entre deux amas n’a pas de signification, la taille apparente des amas non plus, et le résultat change d’une exécution à l’autre. Son paramètre perplexity modifie sensiblement l’image obtenue — ce qui impose d’en essayer plusieurs avant de conclure.

UMAP repose sur une construction topologique, conserve mieux la structure globale que t-SNE, tourne bien plus vite sur de gros volumes, et sait projeter de nouveaux points. C’est le choix par défaut aujourd’hui pour visualiser des plongements.

Le piège à signaler, car il est fréquent

Il ne faut pas faire un clustering sur une projection t-SNE ou UMAP. Ces méthodes déforment volontairement les distances pour produire une belle image : les groupes que l’œil y voit peuvent être des artefacts de la projection, et des groupes réels peuvent y être écrasés l’un sur l’autre. On regroupe dans l’espace d’origine — ou après une ACP, qui préserve les distances — puis on colore la projection avec les groupes obtenus. La figure sert à communiquer le résultat, pas à le produire.

En pratique

Sur des données à mille dimensions, la chaîne courante combine les deux : une ACP pour descendre à cinquante dimensions, ce qui débruite et accélère, puis UMAP pour la figure en deux dimensions. Ce n’est pas une redondance : chaque étape traite ce que l’autre fait moins bien.

Toutes les questions Apprentissage non supervisé