DP-3028 : Implémenter l'ingénierie de l'IA générative avec Azure Databricks

Important : Ce cours sera disponible le 18/07/25

Cours DP-3028 : Implémenter l'ingénierie générative de l'IA avec Azure Databricks

Ce cours aborde l'ingénierie de l'IA générative dans Azure Databricks, en utilisant Spark pour explorer, affiner, évaluer et intégrer des modèles de langage avancés. Il enseigne comment mettre en œuvre des techniques telles que la génération augmentée par récupération (RAG) et le raisonnement multi-étapes, ainsi que comment affiner de grands modèles de langage pour des tâches spécifiques et évaluer leurs performances. Les étudiants apprendront également les pratiques responsables en matière d'IA pour le déploiement de solutions et la gestion des modèles en production grâce à LLMOps (Large Language Model Operations) dans Azure Databricks.

Niveau : Intermédiaire - Rôle : Ingénieur IA, Data Scientist - Produit : Azure - Matière : Intelligence artificielle, Machine Learning

Cours destiné à

Ce cours est destiné aux data scientists, ingénieurs en apprentissage automatique et autres professionnels de l'IA souhaitant créer des applications d'IA génératives avec Azure Databricks. Il s'adresse aux professionnels familiarisés avec les concepts fondamentaux de l'IA et la plateforme Azure Databricks.

Objectifs du cours officiel DP-3028

• Introduction aux modèles de langage (LLM) : Comprendre les fondamentaux de l'IA générative, les modèles de langage et leur application dans les tâches de traitement du langage naturel (NLP).
• Mettre en œuvre RAG (Retrieval-Augmented Generation) : apprendre à préparer les données, effectuer des recherches vectorielles et appliquer des techniques de reclassement pour améliorer la précision des réponses générées.
• Développer un raisonnement en plusieurs étapes : utilisez des frameworks tels que LangChain, LlamaIndex, Haystack et DSPy pour créer des flux de raisonnement complexes.
• Ajustement précis des modèles de langage : préparez les données et affinez les modèles Azure OpenAI pour des tâches spécifiques.
• Évaluation des modèles linguistiques : comparer les évaluations traditionnelles avec les mesures spécifiques au LLM, y compris l'approche « LLM en tant que juge ».
• Appliquer les principes d’IA responsable : identifier les risques, atténuez les problèmes et appliquez des outils de sécurité pour protéger les systèmes d’IA.
• Implémenter LLMOps : passez de MLOps à LLMOps, gérez les déploiements avec MLflow et utilisez Unity Catalog pour le contrôle des versions et la sécurité des modèles.

Contenu du cours officiel Azure Databricks DP-3028

Module 1 : Introduction aux modèles de langage dans Azure Databricks

• Introduction
  
• Description de l'intelligence artificielle générative
  
• Comprendre les principaux modèles de langage (LLM)
  
• Identifier les composants clés des candidatures LLM
  
• Utilisation de LLM pour les tâches de traitement du langage naturel (TALN)
  
• Exercice : Explorer les modèles de langage

Module 2 : Mise en œuvre de la génération augmentée de récupération (RAG) avec Azure Databricks

• Introduction
  
• Explorer les principaux concepts d'un workflow RAG
  
• Préparation des données pour RAG
  
• Recherche de données pertinentes avec le vecteur de recherche
  
• Réaffectation des résultats récupérés
  
• Exercice : Configuration RAG

Module 3 : Implémentation du raisonnement multi-étapes dans Azure Databricks

• Introduction
  
• Que sont les systèmes de raisonnement à plusieurs étapes ?
  
• Explorez LangChain
  
• Explorer LlamaIndex
  
• Explorez Haystack
  
• Explorez le framework DSPy
  
• Exercice : Mise en œuvre du raisonnement multiphasique avec LangChain

Module 4 : Optimisation des modèles de langage avec Azure Databricks

• Introduction
  
• Qu'est-ce que l'ajustement ?
  
• Préparation des données pour l'ajustement
  
• Réglage d'un modèle Azure OpenAI
  
• Exercice : Réglage d'un modèle Azure OpenAI

Module 5 : Évaluation des modèles de langage avec Azure Databricks

• Introduction
  
• Comparaison des évaluations LLM et ML traditionnelles
  
• Évaluation des machines virtuelles et des systèmes d'intelligence artificielle
  
• Évaluation LLM avec des mesures standard
  
• Description du LLM en tant que juge pour l'évaluation
  
• Exercice : Évaluation d'un modèle Azure OpenAI

Module 6 : Examen des principes d'IA responsable pour les modèles de langage dans Azure Databricks

• Introduction
  
• Qu'est-ce que l'intelligence artificielle responsable ?
  
• Identifier les risques
  
• Atténuation des problèmes
  
• Utiliser des outils de sécurité clés pour protéger les systèmes d'intelligence artificielle
  
• Exercice : Mettre en œuvre une IA responsable

Module 7 : Implémentation de LLMOps sur Azure Databricks

• Introduction
  
• Transition du MLOps traditionnel au LLMOps
  
• Comprendre les implémentations de modèles
  
• Description des fonctionnalités d'implémentation de MLflow
  
• Utilisation du catalogue Unity pour gérer les modèles
  
• Exercice : Mettre en œuvre LLMOps

Prérequis

Avant de commencer ce module, vous devez être familiarisé avec les concepts fondamentaux de l’intelligence artificielle et d’Azure Databricks.

Langue

• Cours : Anglais / Espagnol