À quoi sert Unity Catalog, concrètement ?

Questions d’entrevue Entrepôts et lakehouse

Intermédiairedatabricksgouvernanceunity-catalog

La réponse courte

Unity Catalog est la couche de gouvernance centralisée de Databricks : un catalogue de métadonnées qui survit aux workspaces. Il impose le namespace catalogue.schema.table, des identités (users, groupes, principals de service), des privilèges SQL, l’audit, le lineage, et des volumes pour les fichiers qui ne sont pas des tables. Ce n’est pas « un metastore Hive un peu plus joli ».

Ce qu’il change par rapport au metastore par workspace

Avant, chaque workspace avait son metastore, ses GRANT locaux, ses mounts /mnt/…. Une table « gold » dans le workspace marketing n’existait pas pour le workspace finance, sauf à recopier le chemin S3 et à prier. Unity Catalog pose un registre : les workspaces s’y rattachent, les droits se définissent une fois, les chemins cloud sont des emplacements gérés ou externes déclarés, pas un secret partagé dans un notebook.

Trois objets à savoir nommer. Catalog / schema / table : le SQL à trois niveaux, enfin aligné sur ce que Snowflake appelle database / schema / table. Volume : un répertoire gouverné pour CSV, images, checkpoints — le lac n’est plus un seau anonyme. Model et fonctions : le même catalogue peut enregistrer autre chose que des tables, ce qui évite un deuxième silo MLflow « à côté » sans contrôle d’accès.

Ce que l’intervieweur vérifie

Que vous parlez droits et isolation, pas seulement du USE CATALOG. Qui a SELECT sur prod.finance.factures ? Un groupe IdP, pas un token personnel dans un cluster. Les row filters et column masks existent aussi ici : le RBAC objet ne suffit plus dès qu’un analyste « a la table » mais pas les identifiants personnels. Le lineage (colonnes, notebooks, dashboards) sert l’audit RGPD et l’analyse d’impact — « si je change cette colonne silver, qui casse ? » — pas la démo jolie.

La relance : « Tables externes contre tables managées ? » Gérée : Databricks (via UC) orchestre le cycle de vie des fichiers. Externe : vous pointez un chemin que vous assumez (Iceberg/Delta déjà là, autre outil écrivain). Le catalogue gouverne les deux ; il n’efface pas la question « qui est le moteur d’écriture ».

Ce qu’Unity Catalog ne fait pas tout seul

Il ne remplace pas un contrat de données ni un processus d’approbation. Un catalogue parfaitement renseigné avec des tables bronze accessibles à toute l’entreprise, c’est une gouvernance théorique. En senior, on attend que vous liiez UC à des environnements (catalogues dev / prod), à l’identité SSO, et au refus des mounts historiques. Le chantier réel, c’est la migration des chemins, pas la case à cocher dans le workspace.

Toutes les questions Entrepôts et lakehouse