Un flux, c'est une table qui grandit sans fin : tu l'écris presque comme en batch, avec readStream et writeStream à la place de read et write. Le checkpoint est la mémoire de la requête : il permet de reprendre après une panne, et c'est lui qui fait ignorer les fichiers déjà lus. Le watermark est LA notion du jour : il dit jusqu'où attendre les retardataires, ce qui permet de clore les fenêtres et de libérer l'état. Un modèle Spark ML sauvegardé s'applique tel quel sur un flux avec transform(), et foreachBatch te rend tout le code batch pour chaque micro-batch. Sous le capot, Catalyst optimise le plan quelle que soit la source, Tungsten compile les opérateurs, AQE réajuste le plan pendant l'exécution, et le format Parquet fait le reste.
Aperçu — la suite de la leçon est réservée aux inscrits.
Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.
Se connecterPas encore de compte ? En créer unLes premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.