DP-3028: Implement Generative AI engineering with Azure Databricks

Importante: Este curso estará disponible el 18/07/25

Curso DP-3028: Implement Generative AI engineering with Azure Databricks

Este curso abarca la ingeniería de IA generativa en Azure Databricks, utilizando Spark para explorar, perfeccionar, evaluar e integrar modelos de lenguaje avanzados. Enseña cómo implementar técnicas como la generación aumentada por recuperación (RAG) y el razonamiento multietapa, así como cómo perfeccionar modelos de lenguaje grandes para tareas específicas y evaluar su rendimiento. Los estudiantes también aprenderán sobre prácticas responsables de IA para la implementación de soluciones de IA y cómo administrar modelos en producción mediante LLMOps (Operaciones de Modelos de Lenguaje Grandes) en Azure Databricks.

Nivel: Intermedio - Rol: Ingeniero de IA, Científico de datos - Producto: Azure - Asunto: Inteligencia artificial, Aprendizaje automático

Curso dirigido a

Este curso está diseñado para científicos de datos, ingenieros de aprendizaje automático y otros profesionales de la IA que deseen crear aplicaciones de IA generativa con Azure Databricks. Está dirigido a profesionales familiarizados con los conceptos fundamentales de la IA y la plataforma Azure Databricks.

Objetivos del curso oficial DP-3028

• Introducción a los modelos de lenguaje (LLMs): Comprender los fundamentos de la IA generativa, los modelos de lenguaje y su aplicación en tareas de procesamiento de lenguaje natural (NLP).
• Implementar RAG (Retrieval-Augmented Generation): Aprender a preparar datos, realizar búsquedas vectoriales y aplicar técnicas de re-ranking para mejorar la precisión de las respuestas generadas.
• Desarrollar razonamiento multi-etapa: Utilizar frameworks como LangChain, LlamaIndex, Haystack y DSPy para construir flujos de razonamiento complejos.
• Ajustar modelos de lenguaje (Fine-tuning): Preparar datos y realizar ajustes finos sobre modelos de Azure OpenAI para tareas específicas.
• Evaluar modelos de lenguaje: Comparar evaluaciones tradicionales con métricas específicas para LLMs, incluyendo el enfoque de "LLM-as-a-judge".
• Aplicar principios de IA responsable: Identificar riesgos, mitigar problemas y aplicar herramientas de seguridad para proteger los sistemas de IA.
• Implementar LLMOps: Transicionar de MLOps a LLMOps, gestionar despliegues con MLflow, y utilizar Unity Catalog para el control de versiones y seguridad de modelos.

Contenido del curso oficial Azure Databricks DP-3028

Módulo 1 Introducción a los modelos de lenguaje en Azure Databricks

• Introducción
  
• Descripción de la inteligencia artificial generativa
  
• Comprender los grandes modelos lingüísticos (LLM)
  
• Identificación de los componentes clave de las aplicaciones LLM
  
• Uso de LLM para tareas de procesamiento del lenguaje natural (NLP)
  
• Ejercicio: Exploración de modelos de lenguaje

Módulo 2 Implementación de la generación aumentada de recuperación (RAG) con Azure Databricks

• Introducción
  
• Exploración de los conceptos principales de un flujo de trabajo de RAG
  
• Preparación de los datos para RAG
  
• Búsqueda de datos relevantes con el vector de búsqueda
  
• Reasignación de los resultados recuperados
  
• Ejercicio: Configuración de RAG

Módulo 3 Implementación del razonamiento en varias fases en Azure Databricks

• Introducción
  
• ¿Qué son los sistemas de razonamiento de varias fases?
  
• Explorar LangChain
  
• Exploración de LlamaIndex
  
• Explora Haystack
  
• Explorar el marco DSPy
  
• Ejercicio: implementar razonamiento en varias fases con LangChain

Módulo 4 Ajuste de los modelos de lenguaje con Azure Databricks

• Introducción
  
• ¿Qué es el ajuste?
  
• Preparación de los datos para ajustarlos
  
• Ajuste de un modelo de Azure OpenAI
  
• Ejercicio: Ajuste de un modelo de Azure OpenAI

Módulo 5 Evaluación de modelos de lenguaje con Azure Databricks

• Introducción
  
• Comparación de evaluaciones de LLM y ML tradicional
  
• Evaluación de máquinas virtuales y sistemas de inteligencia artificial
  
• Evaluación de LLM con métricas estándar
  
• Descripción de LLM-as-a-judge para la evaluación
  
• Ejercicio: Evaluación de un modelo de Azure OpenAI

Módulo 6 Revisión de los principios de IA responsable para los modelos de lenguaje en Azure Databricks

• Introducción
  
• ¿Qué es la inteligencia artificial responsable?
  
• Identificar riesgos
  
• Mitigación de problemas
  
• Uso de herramientas de seguridad clave para proteger los sistemas de inteligencia artificial
  
• Ejercicio: implementar la IA responsable

Módulo 7 Implementación de LLMOps en Azure Databricks

• Introducción
  
• Transición de MLOps tradicional a LLMOps
  
• Comprender las implementaciones de modelos
  
• Descripción de las funcionalidades de implementación de MLflow
  
• Uso de Unity Catalog para administrar modelos
  
• Ejercicio: Implementar LLMOps

Requisitos previos

Antes de iniciar este módulo, debe estar familiarizado con los conceptos fundamentales de inteligencia artificial y Azure Databricks. 

Idioma

• Curso: Inglés / Español