Leçon — Structured Streaming : premiers flux et analyse de logs

14 min

Durée 45 min · Jour 3 · Formation Spark 4 & Machine Learning · Leçon de fond · Fil rouge : les courses de taxis jaunes de New York, cette fois en direct

Le kit du labo, à télécharger avant tout : https://github.com/hrhouma2/formation-spark-ml

bash

git clone https://github.com/hrhouma2/formation-spark-ml.git lab-spark
cd lab-spark
ls scripts         # stream_simulator.py : notre faux flux de courses, un fichier toutes les 2 secondes

Du batch au flux : la table qui n'en finit pas

Jusqu'ici, les 120 000 courses étaient entières dans trips.csv au moment où tu les lisais. Spark construisait un plan, lisait, filtrait, agrégeait, affichait. Fin. Une fois le job terminé, plus rien ne se passe.

Aperçu — la suite de la leçon est réservée aux inscrits.

Déjà inscrit avec un code ?

Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.

Se connecter Pas encore de compte ? En créer un

Cette leçon fait partie du module « Jour 3 — Streaming et Spark à grande échelle »

Les premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.

Retour au plan