Leçon — Machine Learning : types de problèmes et exploration des données avec Spark — Jour 2 — Machine Learning avec Spark ML

Durée 45 min · Jour 2 · Formation Spark 4 & Machine Learning · Leçon de cadrage · Fil rouge : les courses de taxis jaunes de New York

Le kit du labo, à télécharger avant tout : https://github.com/hrhouma2/formation-spark-ml

bash

git clone https://github.com/hrhouma2/formation-spark-ml.git lab-spark
cd lab-spark
ls data            # trips.parquet (120 000 courses), taxi_zone_lookup.csv (265 zones)

Programmer, ou apprendre ? La frontière du machine learning

Reprends data/trips.parquet. Une course qui part de JFK vers Manhattan est facturée au forfait : 70 $, quelle que soit la distance exacte. Pour prédire ce tarif, pas besoin de machine learning. La règle est connue : « si zone = 132 (JFK) et destination = Manhattan, alors 70 $ ». On la programme en deux lignes de SQL.