DP-3028 : Implémenter l'ingénierie de l'IA générative avec Azure Databricks

Important : Ce cours sera disponible le 18/07/2025

Cours DP-3028 : Mise en œuvre de l’ingénierie de l’IA générative avec Azure Databricks

Ce cours aborde l'ingénierie de l'IA générative sur Azure Databricks, en utilisant Spark pour explorer, affiner, évaluer et intégrer des modèles de langage avancés. Il enseigne comment implémenter des techniques telles que la génération augmentée par récupération (RAG) et le raisonnement multi-étapes, ainsi que comment affiner de grands modèles de langage pour des tâches spécifiques et évaluer leurs performances. Les étudiants apprendront également les bonnes pratiques d'IA pour le déploiement de solutions d'IA et comment gérer les modèles en production à l'aide de LLMOps (Large Language Model Operations) sur Azure Databricks.

Niveau : Intermédiaire - Rôle : Ingénieur en IA, Data Scientist - Produit : Azure - Domaine : Intelligence artificielle, Apprentissage automatique

Cours destiné à

Ce cours est conçu pour les data scientists, les ingénieurs en apprentissage automatique et autres professionnels de l'IA souhaitant développer des applications d'IA générative avec Azure Databricks. Il s'adresse aux professionnels maîtrisant les concepts fondamentaux de l'IA et la plateforme Azure Databricks.

Objectifs du cours officiel DP-3028

• Introduction aux modèles de langage (LLM) : Comprendre les principes fondamentaux de l'IA générative, des modèles de langage et leur application dans les tâches de traitement automatique du langage naturel (TALN).
• Mise en œuvre de RAG (génération augmentée par la récupération) : Apprenez à préparer les données, à effectuer des recherches vectorielles et à appliquer des techniques de réordonnancement pour améliorer la précision des réponses générées.
• Développer un raisonnement multi-étapes : utiliser des frameworks tels que LangChain, LlamaIndex, Haystack et DSPy pour construire des flux de raisonnement complexes.
• Optimisation des modèles de langage : préparez les données et effectuez des ajustements précis des modèles Azure OpenAI pour des tâches spécifiques.
• Évaluer les modèles de langage : comparer les évaluations traditionnelles avec les mesures spécifiques aux LLM, y compris l’approche « LLM en tant que juge ».
• Appliquer les principes d'une IA responsable : identifier les risques, atténuer les problèmes et utiliser des outils de sécurité pour protéger les systèmes d'IA.
• Mettre en œuvre LLMOps : passer de MLOps à LLMOps, gérer les déploiements avec MLflow et utiliser Unity Catalog pour le contrôle de version et la sécurité des modèles.

Contenu du cours officiel Azure Databricks DP-3028

Module 1 Introduction aux modèles de langage dans Azure Databricks

• Introduction
  
• Description de l'intelligence artificielle générative
  
• Comprendre les principaux modèles linguistiques (LLM)
  
• Identifier les éléments clés des demandes de LLM
  
• Utilisation de LLM pour les tâches de traitement automatique du langage naturel (TALN)
  
• Exercice : Exploration des modèles de langage

Module 2 : Mise en œuvre de la génération de récupération augmentée (RAG) avec Azure Databricks

• Introduction
  
• Exploration des principaux concepts d'un flux de travail RAG
  
• Préparation des données pour RAG
  
• Recherche de données pertinentes à l'aide du vecteur de recherche
  
• Réaffectation des résultats récupérés
  
• Exercice : Configuration RAG

Module 3 : Implémentation du raisonnement multi-étapes dans Azure Databricks

• Introduction
  
• Que sont les systèmes de raisonnement multi-étapes ?
  
• Explorez LangChain
  
• Exploration de LlamaIndex
  
• Explorez Haystack
  
• Explorez le framework DSPy
  
• Exercice : Implémentation d'un raisonnement multiphase avec LangChain

Module 4 : Optimisation des modèles de langage avec Azure Databricks

• Introduction
  
• Quel est le réglage ?
  
• Préparation des données en vue de l'ajustement
  
• Optimisation d'un modèle Azure OpenAI
  
• Exercice : Optimisation d’un modèle Azure OpenAI

Module 5 : Évaluation du modèle de langage avec Azure Databricks

• Introduction
  
• Comparaison des évaluations LLM et ML traditionnelles
  
• Évaluation des machines virtuelles et des systèmes d'intelligence artificielle
  
• Évaluation des LLM à l'aide de métriques standard
  
• Description du LLM en tant que juge pour l'évaluation
  
• Exercice : Évaluation d'un modèle Azure OpenAI

Module 6 : Examen des principes d’IA responsable pour les modèles de langage dans Azure Databricks

• Introduction
  
• Qu’est-ce que l’intelligence artificielle responsable ?
  
• Identifier les risques
  
• Atténuation des problèmes
  
• Utilisation d'outils de sécurité clés pour protéger les systèmes d'intelligence artificielle
  
• Exercice : Mise en œuvre d'une IA responsable

Module 7 : Implémentation de LLMOps dans Azure Databricks

• Introduction
  
• Transition du MLOps traditionnel au LLMOps
  
• Comprendre les implémentations de modèles
  
• Description des fonctionnalités de l'implémentation MLflow
  
• Utilisation du catalogue Unity pour gérer les modèles
  
• Exercice : Mise en œuvre de LLMOps

Prérequis

Avant de commencer ce module, vous devez vous familiariser avec les concepts fondamentaux de l'intelligence artificielle et d'Azure Databricks.

Langue

• Cours : Anglais / Espagnol