Description du cours : DP-3011 : Implémentation d'une solution d'analyse de données avec Azure Databricks

Découvrez comment tirer pleinement parti d' Apache Spark et des clusters puissants exécutés sur la plateforme Azure Databricks pour exécuter de grandes charges de travail d'ingénierie de données dans le cloud.

• Niveau : Intermédiaire
• Produit : Azure Databricks
• Rôle : Ingénieur de données
  

Objectifs

• Configurer un environnement de développement dans Azure Machine Learning
• Préparer les données pour la formation du modèle
• Créer et configurer un script de formation de modèle en tant que tâche de commande
• Gérer les artefacts à l'aide de MLflow
• Implémenter un modèle de consommation en temps réel

Parcours de formation

• Explorez Azure Databricks : Azure Databricks est un service cloud qui fournit une plate-forme évolutive pour l'analyse des données à l'aide d'Apache Spark.
• Effectuer une analyse de données avec Azure Databricks : découvrez comment effectuer une analyse de données avec Azure Databricks. Découvrez diverses méthodes d’ingestion de données et comment intégrer des données provenant de sources telles qu’Azure Data Lake et Azure SQL Database. Ce module vous guide dans l'utilisation de blocs-notes collaboratifs pour effectuer une analyse exploratoire des données (EDA), afin que vous puissiez visualiser, manipuler et examiner les données pour découvrir des modèles, des anomalies et des corrélations.
• Utilisation d'Apache Spark sur Azure Databricks : Azure Databricks est basé sur Apache Spark et permet aux ingénieurs de données et aux analystes d'exécuter des tâches Spark pour transformer, analyser et visualiser les données à grande échelle.
• Utilisation de Delta Lake dans Azure Databricks : Delta Lake est une zone de stockage relationnel open source pour Spark que vous pouvez utiliser pour implémenter une architecture de lac de données dans Azure Databricks.
• Création de pipelines de données avec Delta Live Tables : la création de pipelines de données avec Delta Live Tables permet un traitement de données en temps réel, évolutif et fiable à l'aide des fonctionnalités avancées de Delta Lake dans Azure Databricks.
• Déploiement de charges de travail avec Azure Databricks Workflows : le déploiement de charges de travail avec Azure Databricks Workflows implique l'orchestration et l'automatisation de pipelines de traitement de données complexes, de workflows d'apprentissage automatique et de tâches d'analyse. Dans ce module, vous apprendrez à déployer des charges de travail avec les workflows Databricks.
• Utilisation des magasins SQL dans Azure Databricks : Azure Databricks fournit des magasins SQL qui permettent aux analystes de travailler avec des données via des requêtes SQL relationnelles familières.
• Exécution de notebooks Azure Databricks avec Azure Data Factory : l'utilisation de pipelines dans Azure Data Factory pour exécuter des notebooks dans Azure Databricks vous permet d'automatiser les processus d'ingénierie des données à l'échelle du cloud.

Conditions préalables

N'a pas de prérequis

Langue

• Cours : Anglais / Espagnol
• Travaux pratiques : anglais/espagnol