DP-3011 : Implémentation d'une solution d'analyse de données avec Azure Databricks

Cours : DP-3011 : Implémenter une solution d'analyse de données avec Azure Databricks

Apprenez à tirer pleinement parti d'Apache Spark et des puissants clusters s'exécutant sur la plateforme Azure Databricks pour exécuter de grandes charges de travail d'ingénierie de données dans le cloud.

Objectifs de la formation DP-3011

• Configurer un environnement de développement dans Azure Machine Learning
• Préparer les données pour l'entraînement de modèles
• Créer et configurer un script d'entraînement de modèles comme un travail de commande
• Gérer les artefacts à l'aide de MLflow
• Déployer un modèle pour une consommation en temps réel

Contenu du cours DP-3011 Implémentation d'une solution d'analyse de données avec Azure Databricks

Module 1 : Explorer Azure Databricks

• Introduction à Azure Databricks
• Identification des charges de travail Azure Databricks
• Description des concepts clés
• Gouvernance des données avec Unity Catalog et Microsoft Purview
• Exercice : Explorer Azure Databricks

Module 2 : Effectuer l'analyse de données avec Azure Databricks

• Introduction
• Ingestion de données avec Azure Databricks
• Outils d'exploration de données dans Azure Databricks
• Analyse de données à l'aide des API DataFrame
• Exercice : Exploration de données avec Azure Databricks

Module 3 : Utilisation d'Apache Spark dans Azure Databricks

• Introduction
• Découvrir Spark
• Création d'un cluster Spark
• Utilisation de Spark dans les notebooks
• Utilisation de Spark pour travailler avec des fichiers de données
• Visualisation des données
• Exercice : Utilisation de Spark dans Azure Databricks

Module 4 : Gestion des données avec Delta Lake

• Introduction
• Premiers pas avec Delta Lake
• Gestion des transactions ACID
• Mise en œuvre de la conformité des schémas
• Contrôle de version des données et décalage et voyage dans le temps dans Delta Lake
• Intégrité des données avec Delta Lake
• Exercice : Utilisation de Delta Lake dans Azure Databricks

Module 5 : Construction de pipelines de données avec Delta Live Tables

• Introduction
• Exploration de Delta Live Tables
• Ingestion et intégration de données
• Traitement en temps réel
• Exercice : Création d'un pipeline de données avec Delta Live Tables

Module 6 : Implémentation de charges de travail avec les workflows Azure Databricks

• Introduction
• Que sont les workflows Azure Databricks ?
• Description des composants clés des workflows Azure Databricks
• Exploration des avantages des workflows Azure Databricks
• Implémentation de charges de travail à l'aide des workflows Azure Databricks
• Exercice : Création d'un workflow Azure Databricks

Prérequis

Aucun prérequis

Langue

• Cours : Anglais / Espagnol
• Laboratoires : Anglais / Espagnol