Formation Machine Learning distribué avec Spark ML

Jour 1 — Fondamentaux du calcul distribué et environnement Spark

Matin — Introduction au calcul distribué et architecture Spark

• Enjeux du calcul distribué appliqué au Machine Learning
• Architecture Spark : driver, executors, cluster managers
• Spark Standalone versus YARN versus Kubernetes
• Comparaison RDD, DataFrames et Datasets
• DAG et plan d’exécution
• Introduction au format Parquet
• Introduction au Lakehouse (Delta Lake, ACID Tables, versionning …)
• Mise en place de l’environnement de travail (cluster local et distribué)

Atelier fil rouge — Mise en route d’un environnement Spark et exploration distribuée

Contexte : Un service client d’une banque souhaite analyser plusieurs dizaines de millions d’enregistrements de Call Detail Records (CDR) pour préparer un futur projet ML de détection d’anomalies.

Dataset : Jeu de données CDR simulé (identifiant client, durée d’appel, type, horodatage, cellules.

Tâches à réaliser de préparation des données

• Démarrer une session Spark locale puis simuler un mode cluster
• Charger les données depuis CSV et Parquet, comparer les temps de lecture
• Réaliser des agrégations distribuées (nombre d’appels par client, cellule, tranche horaire)
• Observer le plan d’exécution avec explain() et l’interface Spark UI

Livrable attendu : Notebook commenté présentant les agrégations clés et une 1ère analyse des temps d’exécution selon le format de fichier.

Après-midi — Manipulation distribuée des données

• API DataFrame et Spark SQL pour la préparation de données
• Transformations versus actions, lazy evaluation
• Partitionnement, shuffling et bonnes pratiques
• Spark SQL et jointures distribuées
• Broadcast Join
• Gestion du skew
• Caching et persistence

Atelier fil rouge — Préparation d’un dataset à grande échelle

Contexte : La direction des ventes omnicanal souhaite consolider ses données de vente et de fidélité afin de construire un futur modèle de scoring d’appétence produit.

Dataset : Des fichiers Parquet : transactions, clients, catalogue produit.

Tâches à réaliser de preparation de données :

• Réaliser des jointures distribuées entre les trois sources
• Identifier et corriger les problèmes de skew (partitions déséquilibrées)
• Comparer broadcast join et shuffle join selon la taille des tables
• Construire une table analytique consolidée (1 ligne par client / produit / mois)

Livrable attendu : Pipeline Spark SQL et DataFrame produisant la table analytique, avec une analyse comparative des temps d’exécution avant/après optimisation des jointures.

Jour 2 — Spark ML : pipelines et modélisation

Matin — Pipeline ML Spark et feature engineering

• Architecture Spark ML
• Composants Spark ML : Transformer, Estimator, Pipeline, ParamMap
• Feature engineering distribué (VectorAssembler, StrIngIndexer, OneHotEncoder, StandardScaler)
• Gestion des valeurs manquantes et des variables catégorielles à grande échelle
• Sauvegarde et rechargement d’un Pipeline

Atelier fil rouge — Pipeline de préparation pour la détection de fraude bancaire

Contexte : La direction conformité souhaite préparer ses transactions par carte pour entraîner un modèle de détection de fraude. Les données sont volumineuses et nécessitent un traitement distribué.

Dataset : Dataset Kaggle « Credit Card Fraud Detection » augmenté pour simuler des transactions (montant, marchand, géolocalisation, horodatage, label fraude).

Tâches à réaliser pour modéliser :

• Construire un Pipeline Spark ML : indexation, encodage, mise à l’échelle, assemblage
• Gérer le fort déséquilibre des classes (fraude < 1%)
• Créer des variables dérivées : vélocité de transactions, écart au montant moyen, fréquence par marchand
• Sérialiser le pipeline et le recharger pour vérifier la reproductibilité

Livrable attendu : Pipeline Spark ML sauvegardé sur disque et jeu d’entraînement et de test prêts pour la modélisation.

Après-midi — Algorithmes supervisés

• Régression linéaire et logistique distribuées
• Arbres de décision, Random Forest et Gradient Boosted Trees
• Cross-validation et grid search avec CrossValidator et TrainValidationSplit
• Métriques de classification déséquilibrée
• Hyperparameter tuning
• Limites de Spark MLlib

Atelier fil rouge — Modèle de détection de fraude bancaire

Contexte : Suite à la préparation du matin, plusieurs modèles distribués sur les transactions bancaires sont à entrainer pour sélectionner le plus performant avant mise en production.

Dataset : Exemple Sortie du Pipeline de préparation du matin

Tâches à réaliser pour modéliser :

• Entraîner une régression logistique, un Random Forest et un GBT sur le dataset
• Optimiser les hyperparamètres par cross-validation distribuée
• Comparer les modèles sur AUC, précision/rappel et matrice de confusion
• Analyser l’importance des variables pour le modèle retenu

Livrable attendu : Rapport comparatif des trois modèles et modèle final sauvegardé avec justification du choix.

Jour 3 — Apprentissage non supervisé, optimisation et déploiement

Matin — Clustering, recommandation et optimisation

• Segmentation client distribuée
• Algorithmes de clustering (K-Means, GMM, LDA)
• Systèmes de recommandation avec ALS
• Tuning des performances Spark (Catalyst, Tungsten, caching, partitions)
• Diagnostic via Spark UI et bonnes pratiques d’optimisation

Atelier fil rouge — Segmentation client et recommandation produit

Contexte : La direction marketing souhaite segmenter sa base clients et bâtir un moteur de recommandation produit pour personnaliser sa page d’accueil.

Dataset : Exemple Logs de navigation et d’achat en ligne, catalogue produit.

Tâches à réaliser en vue d’une industrialization :

• Réaliser une segmentation RFM puis appliquer un K-Means distribué
• Caractériser les segments obtenus (profil type, panier moyen, récence)
• Construire un modèle de recommandation ALS (filtrage collaboratif)
• Comparer les recommandations personnalisées et baseline « top ventes »

Livrable attendu : Notebook présentant les 5 segments clients identifiés et top 10 des recommandations pour 3 profils clients distincts.

Après-midi — Évaluation, déploiement et cas pratique final

• Métriques d’évaluation (RMSE, AUC, F1, silhouette…)
• Sauvegarde et chargement des modèles Spark ML
• Introduction au Streaming (Micro-batch processing, fenêtres temporelles…)
• Déploiement batch et streaming, intégration avec MLflow
• Bonnes pratiques de mise en production dont monitoring

Atelier final — Industrialisation d’un modèle de prévision de demande

Contexte : A présent, la direction marketing souhaite industrialiser un modèle de prévision de demande pour ajuster sa politique de pricing en temps quasi réel.

Dataset : Historique d’achats sur 5 ans (de lignes)

Tâches à réaliser:

• Entraîner un modèle de régression GBT pour prédire le taux d’occupation à J+7
• Tracker l’expérimentation avec MLflow (paramètres, métriques, artefact)
• Déployer le modèle en mode batch quotidien sur le cluster
• Mettre en place un suivi des prédictions vs réalisé pour détecter une dérive

Livrable attendu : Job Spark déployable + tableau de bord MLflow + note de cadrage pour la mise en production.