DP-203 : Ingénierie des données sur Microsoft Azure

Microsoft retirera DP-203 : Ingénierie des données sur Microsoft Azure le 31 décembre 2025. Veuillez noter que la certification a été retirée le 31 mars 2025. Elle sera remplacée par DP-700 : Ingénieur de données Microsoft Fabric.

Cours DP-203 : Ingénierie des données sur Microsoft Azure

Dans ce cours, les étudiants découvriront l'ingénierie des données et son application aux solutions d'analyse par lots et en temps réel utilisant les technologies de plateforme de données Azure. Ils commenceront par se familiariser avec les technologies de traitement et de stockage de base utilisées pour créer une solution d'analyse. Ils apprendront également à explorer de manière interactive les données stockées dans des fichiers d'un lac de données. Ils découvriront les différentes techniques d'ingestion permettant de charger des données grâce à la fonctionnalité Apache Spark d'Azure Synapse Analytics ou d'Azure Databricks, ou d'ingérer des données grâce aux pipelines Azure Data Factory ou Azure Synapse. Ils découvriront également les différentes façons de transformer les données grâce aux mêmes technologies d'ingestion. Ils comprendront l'importance de la sécurité pour garantir la protection des données (au repos ou en transit). Ils apprendront ensuite à créer un système d'analyse en temps réel pour créer des solutions d'analyse en temps réel.

La formation comprend un examen de certification et un bonus pour gagner un cadeau virtuel ! *Promotion valable jusqu'au 31 août, pour les clients en Espagne uniquement. Non applicable à l'auto-apprentissage.

Cours destiné à

Ce cours s'adresse principalement aux professionnels des données, aux architectes de données et aux professionnels de la business intelligence souhaitant se familiariser avec l'ingénierie des données et développer des solutions d'analyse à l'aide des technologies de plateforme de données disponibles dans Microsoft Azure. Il s'adresse également aux analystes et data scientists travaillant avec des solutions d'analyse basées sur Microsoft Azure.

Éléments de la formation DP-203

• Introduction à l'ingénierie des données dans Azure (3 unités)

• Création de solutions d'analyse de données avec les pools SQL sans serveur Azure Synapse (4 unités)

• Exécution de tâches d'ingénierie des données avec des pools Apache Spark dans Azure Synapse (3 unités)

• Transfert et transformation de données avec Azure Synapse Analytics Pipelines (2 unités)

• Implémentation d'une solution d'analyse de données avec Azure Synapse Analytics (6 unités)

• Travailler avec des entrepôts de données avec Azure Synapse Analytics (4 unités)

• Utilisation de solutions de traitement transactionnel et analytique hybrides avec Azure Synapse Analytics (3 unités)

• Mise en œuvre d'une solution de streaming de données avec Azure Stream Analytics (3 unités)

• Implémentation d'une solution d'analyse d'entrepôt de données avec Azure Databricks (6 unités)

Contenu du cours DP-203

Module 1 : Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données

Ce module offre un aperçu des options technologiques de calcul et de stockage Azure disponibles pour les ingénieurs données développant des charges de travail analytiques. Il vous apprend à structurer votre lac de données et à optimiser les fichiers pour les charges de travail exploratoires, en streaming et par lots. Les participants apprendront à organiser leur lac de données en niveaux de raffinement des données lors de la transformation des fichiers par lots et par streaming. Ils apprendront ensuite à créer des index sur leurs jeux de données, tels que des fichiers CSV, JSON et Parquet, et à les utiliser pour potentiellement accélérer les requêtes et les charges de travail.

Leçons

• Introduction à Azure Synapse Analytics

• Présentation d'Azure Databricks

• Introduction à Azure Data Lake Storage

• Description de l'architecture du lac Delta

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

Laboratoire : Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données

• Combinez le traitement par lots et le traitement par flux dans un seul pipeline

• Organiser le lac de données en niveaux de transformation de fichiers

• Indexation du stockage du lac de données pour l'accélération des requêtes et de la charge de travail

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire Azure Synapse Analytics

• Présentation d'Azure Databricks

• Décrire Azure Data Lake Storage

• Décrivez l'architecture du lac Delta

• Décrire Azure Stream Analytics

Module 2 : Exécution de requêtes interactives avec les pools SQL sans serveur Azure Synapse Analytics

Dans ce module, les étudiants apprendront à utiliser les fichiers stockés dans le lac de données et les sources de fichiers externes à l'aide d'instructions T-SQL exécutées par un pool SQL sans serveur dans Azure Synapse Analytics. Ils interrogeront les fichiers Parquet stockés dans un lac de données, ainsi que les fichiers CSV stockés dans un magasin de données externe. Ils créeront ensuite des groupes de sécurité Azure Active Directory et appliqueront l'accès aux fichiers du lac de données via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL).

Leçons

• Découverte des fonctionnalités des pools SQL sans serveur Azure Synapse

• Interrogation des données dans le lac à l'aide des pools SQL sans serveur Azure Synapse

• Création d'objets de métadonnées dans les pools SQL sans serveur Azure Synapse

• Protection des données et gestion des utilisateurs dans les pools SQL sans serveur Azure Synapse

Laboratoire : Exécution de requêtes interactives avec des pools SQL sans serveur

• Interroger les données Parquet avec des pools SQL sans serveur

• Créer des tables externes pour les fichiers Parquet et CSV

• Création de vues avec des pools SQL sans serveur

• Sécurisation de l'accès aux données dans un lac de données lors de l'utilisation de pools SQL sans serveur

• Configurer la sécurité du lac de données via le contrôle d'accès basé sur les rôles (RBAC) et les listes de contrôle d'accès (ACL)

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire les fonctionnalités des pools SQL sans serveur Azure Synapse

• Interrogation des données dans le lac à l'aide des pools SQL sans serveur Azure Synapse

• Création d'objets de métadonnées dans les pools SQL sans serveur Azure Synapse

• Protection des données et gestion des utilisateurs dans les pools SQL sans serveur Azure Synapse

Module 3 : Exploration et transformation des données dans Azure Databricks

Ce module vous apprend à utiliser plusieurs méthodes Apache Spark DataFrame pour explorer et transformer des données dans Azure Databricks. Les participants apprendront à utiliser les méthodes DataFrame standard pour explorer et transformer des données. Ils apprendront également à effectuer des tâches plus avancées, telles que la suppression des doublons, la manipulation des valeurs de date et d'heure, le renommage des colonnes et l'agrégation de données.

Leçons

• Présentation d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Utilisation des éléments DataFrame dans Azure Databricks

• Utilisation des méthodes DataFrame avancées dans Azure Databricks

Laboratoire : Réalisation d'explorations et de transformations de données dans Azure Databricks

• Utilisez des DataFrames dans Azure Databricks pour explorer et filtrer les données

• Mise en cache des DataFrames pour des requêtes plus rapides ultérieurement

• Éliminer les données en double

• Manipulation des valeurs de date et d'heure

• Supprimer des colonnes d'un DataFrame et les renommer

• Ajout de données stockées dans un DataFrame

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Présentation d'Azure Databricks

• Lecture et écriture de données dans Azure Databricks

• Utilisation des éléments DataFrame dans Azure Databricks

• Utilisation des méthodes DataFrame avancées dans Azure Databricks

Module 4 : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

Ce module vous apprend à explorer les données stockées dans un lac de données, à les transformer et à les charger dans un entrepôt de données relationnel. Les étudiants exploreront les fichiers Parquet et JSON et utiliseront des techniques pour interroger et transformer des fichiers JSON avec des structures hiérarchiques. Ils utiliseront ensuite Apache Spark pour charger les données dans l'entrepôt de données et associer les données Parquet du lac de données aux données du pool SQL dédié.

Leçons

• Définition de l'ingénierie Big Data avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec les blocs-notes Apache Spark dans Azure Synapse Analytics

• Transformation des données avec les objets DataFrame du pool Apache Spark d'Azure Synapse Analytics

• Intégration de pools SQL et d'Apache Spark dans Azure Synapse Analytics

Laboratoire : Exploration, transformation et chargement de données dans des entrepôts de données avec Apache Spark

• Effectuer des explorations de données dans Synapse Studio

• Ingérer des données avec des blocs-notes Spark dans Azure Synapse Analytics

• Transformez les données avec Azure Synapse Analytics Spark Pool DataFrame

• Intégrer les pools SQL et Spark dans Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Décrire l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics

• Ingestion de données avec les blocs-notes Apache Spark dans Azure Synapse Analytics

• Transformation des données avec les objets DataFrame du pool Apache Spark d'Azure Synapse Analytics

• Intégration de pools SQL et d'Apache Spark dans Azure Synapse Analytics

Module 5 : Ingestion et chargement de données dans des entrepôts de données

Dans ce module, les étudiants apprendront à ingérer des données dans un entrepôt de données à l'aide de scripts T-SQL et de pipelines d'intégration Synapse Analytics. Ils apprendront également à charger des données dans des pools Synapse SQL dédiés avec PolyBase et à copier des données avec T-SQL. Ils apprendront également à utiliser la gestion de la charge de travail et une activité de copie dans un pipeline Azure Synapse pour l'ingestion de données à l'échelle du pétaoctet.

Leçons

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

• Ingestion à l'échelle du pétaoctet avec Azure Data Factory

Laboratoire : Ingestion et chargement de données dans des entrepôts de données

• Effectuez une ingestion à l'échelle du pétaoctet avec les pipelines Azure Synapse

• Importer des données avec PolyBase et COPIER en utilisant T-SQL

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Utilisation des meilleures pratiques pour le chargement de données dans Azure Synapse Analytics

• Ingestion à l'échelle du pétaoctet avec Azure Data Factory

Module 6 : Transformation des données avec Azure Data Factory ou Azure Synapse Pipelines

Ce module enseigne aux étudiants comment créer des pipelines d'intégration de données pour ingérer des données provenant de plusieurs sources de données, transformer des données à l'aide de flux de données de mappage et effectuer un déplacement de données vers un ou plusieurs récepteurs de données.

Leçons

• Intégration de données avec Azure Data Factory ou Azure Synapse Pipeline

• Effectuez des transformations sans code à grande échelle avec les pipelines Azure Data Factory ou Azure Synapse

Laboratoire : Transformer les données avec les pipelines Azure Data Factory ou Azure Synapse

• Exécutez des transformations sans code à grande échelle avec les pipelines Azure Synapse

• Créer un pipeline de données pour importer des fichiers CSV mal formatés

• Créer des flux de données de mappage

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Effectuer des intégrations de données avec Azure Data Factory

• Effectuez des transformations sans code à grande échelle avec Azure Data Factory

Module 7 : Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

Dans ce module, nous apprendrons à créer des services liés et à orchestrer le déplacement et la transformation des données à l’aide de blocs-notes dans les pipelines Azure Synapse.

Leçons

• Orchestrer les mouvements et les transformations de données dans Azure Data Factory

Laboratoire : Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

• Intégrer les données du bloc-notes aux pipelines Azure Data Factory ou Azure Synapse

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Orchestrer les mouvements et les transformations de données dans les pipelines Azure Synapse

Module 8 : Sécurité complète avec Azure Synapse Analytics

Dans ce module, les étudiants apprendront à sécuriser un espace de travail Synapse Analytics et son infrastructure. Ils exploreront SQL Active Directory Manager, géreront les règles de pare-feu IP, géreront les secrets avec Azure Key Vault et y accéderont via un service lié à Key Vault et des activités de pipeline. Ils apprendront également à implémenter la sécurité au niveau des colonnes et des lignes, ainsi que le masquage dynamique des données à l'aide de pools SQL dédiés.

Leçons

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données sensibles

Laboratoire : Sécurité complète avec Azure Synapse Analytics

• Protection de l'infrastructure derrière Azure Synapse Analytics

• Sécurisez votre espace de travail Azure Synapse Analytics et vos services gérés

• Protégez les données de votre espace de travail Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Création d'un entrepôt de données dans Azure Synapse Analytics

• Configuration et gestion des secrets dans Azure Key Vault

• Mise en œuvre de contrôles de conformité pour les données sensibles

Module 9 : Prise en charge du traitement d'analyse transactionnelle hybride avec Azure Synapse Link

Dans ce module, les étudiants découvriront comment Azure Synapse Link assure une connectivité fluide entre un compte Azure Cosmos DB et un espace de travail Synapse. Ils découvriront comment activer et configurer Synapse Link, puis comment interroger l'entrepôt analytique Azure Cosmos DB à l'aide d'Apache Spark et de SQL sans serveur.

Leçons

• Conception d'un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Requête Azure Cosmos DB avec pools Apache Spark

• Requête Azure Cosmos DB avec pools SQL sans serveur

Laboratoire : Prise en charge du traitement analytique transactionnel hybride avec Azure Synapse Link

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Interroger Azure Cosmos DB avec Apache Spark pour Synapse Analytics

• Interroger Azure Cosmos DB avec des pools SQL sans serveur pour Azure Synapse Analytics

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Conception d'un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics

• Configuration d'Azure Synapse Link avec Azure Cosmos DB

• Interroger Azure Cosmos DB avec Apache Spark pour Azure Synapse Analytics

• Interroger Azure Cosmos DB avec SQL sans serveur pour Azure Synapse Analytics

Module 10 : Traitement de flux en temps réel avec Stream Analytics

Dans ce module, les étudiants apprendront à traiter les données de flux avec Azure Stream Analytics. Ils ingéreront les données de télémétrie des véhicules dans Event Hubs, puis les traiteront en temps réel à l'aide de plusieurs fonctions basées sur des fenêtres dans Azure Stream Analytics. Ils enverront les données à Azure Synapse Analytics. Enfin, ils apprendront à faire évoluer les tâches Stream Analytics pour optimiser les performances.

Leçons

• Activer une messagerie fiable pour les applications Big Data avec Azure Event Hubs

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

• Ingestion de flux de données avec Azure Stream Analytics

Laboratoire : Traitement de flux en temps réel avec Stream Analytics

• Utilisez Stream Analytics pour traiter les données en temps réel des Event Hubs

• Utilisez les fonctions basées sur la fenêtre Stream Analytics pour créer des agrégats et les envoyer à Synapse Analytics

• Mise à l'échelle des tâches Azure Stream Analytics pour augmenter les performances grâce au partitionnement

• Repartitionnement de l'entrée du flux pour optimiser la parallélisation

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Activer une messagerie fiable pour les applications Big Data avec Azure Event Hubs

• Utilisation des flux de données à l'aide d'Azure Stream Analytics

• Ingestion de flux de données avec Azure Stream Analytics

Module 11 : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

Dans ce module, les étudiants apprendront à ingérer et traiter des données de flux à grande échelle grâce à Event Hubs et au streaming structuré Spark dans Azure Databricks. Ils découvriront les principales utilisations et fonctionnalités du streaming structuré. Ils mettront en œuvre des fenêtres glissantes pour agréger des blocs de données et appliqueront des filigranes pour supprimer les données obsolètes. Enfin, ils se connecteront à Event Hubs pour lire et écrire des flux.

Leçons

• Traitement des données en streaming avec Azure Databricks Structured Streaming

Laboratoire : Création d'une solution de traitement de flux avec Event Hubs et Azure Databricks

• Analyser les principales utilisations et fonctionnalités du streaming structuré.

• Diffusion de données à partir d'un fichier et écriture sur un système de fichiers distribué

• Utilisez des fenêtres coulissantes pour ajouter des fragments de données au lieu de toutes les données

• Appliquer des filigranes pour supprimer les données obsolètes

• Connectez-vous aux flux de lecture et d'écriture d'Event Hubs

Après avoir terminé ce module, les étudiants seront capables de faire ce qui suit :

• Traitement des données en streaming avec Azure Databricks Structured Streaming

Prérequis

Les étudiants éligibles commencent ce cours avec une expérience en cloud computing et en fondamentaux des données, ainsi qu'une expérience professionnelle avec des solutions de données.

Réaliser notamment :

• AZ-900 : Principes fondamentaux d'Azure

• DP-900 : Principes fondamentaux des données dans Microsoft Azure

Langue

• Cours : Anglais / Espagnol

• Laboratoires : anglais / espagnol

Certification Microsoft Associate : Azure Data Engineer Associate

Ingénieur de données Azure certifié Microsoft

Démontrer une compréhension des tâches courantes d’ingénierie des données pour déployer et gérer les charges de travail d’ingénierie des données dans Microsoft Azure à l’aide de divers services Azure.

Niveau : Intermédiaire
Rôle : Ingénieur de données
Produit : Azure
Sujet : Données et IA