Durée 45 min · Jour 1 · Formation Spark 4 & Machine Learning · Leçon de fond · Fil rouge : les courses de taxis jaunes de New York
Le kit du labo, à télécharger avant tout : https://github.com/hrhouma2/formation-spark-ml
git clone https://github.com/hrhouma2/formation-spark-ml.git lab-spark
cd lab-spark
ls data # trips.csv (12 Mo), trips.parquet (3,3 Mo), taxi_zone_lookup.csvAu TP 2, tu as calculé le top 10 des zones à la main : textFile, split, deux map, reduceByKey, join. Vingt lignes, une erreur de type possible à chaque virgule. Le TP 4, lui, le fait en une requête SQL :
SELECT z.Zone, z.Borough, ROUND(SUM(t.total_amount), 2) AS ca, COUNT(*) AS courses
FROM trips t JOIN zones z ON t.PULocationID = z.LocationID
GROUP BY z.Zone, z.Borough
ORDER BY ca DESC LIMIT 10Aperçu — la suite de la leçon est réservée aux inscrits.
Votre accès est rattaché à votre compte, pas à ce lien. Connectez-vous avec le même courriel qu'en classe : votre cours vous attend, inutile de ré-entrer le code.
Se connecterPas encore de compte ? En créer unLes premiers modules du cours sont en accès libre. Pour la suite, trois possibilités : acheter ce cours une fois pour toutes, vous abonner pour tout ouvrir, ou entrer le code si vous suivez le cours en classe.