Curso DP-203: Ingeniería de datos de Microsoft Azure

Módulo 1: Exploración de las opciones de proceso y almacenamiento de las cargas de trabajo de ingeniería de datos

En este módulo se proporciona información general sobre las opciones de tecnología de proceso y almacenamiento de Azure que hay disponibles para los ingenieros de datos que crean cargas de trabajo analíticas. En este módulo se enseña a estructurar el lago de datos y a optimizar los archivos para las cargas de trabajo de exploración, secuencias y lotes. El alumno aprenderá a organizar el lago de datos en niveles de refinamiento de datos a medida que transforman los archivos a través del procesamiento por lotes y de secuencias. Luego, aprenderán a crear índices en sus conjuntos de datos, como archivos CSV, JSON y Parquet, y a usarlos para una posible aceleración de las consultas y las cargas de trabajo.

Lecciones

• Introducción a Azure Synapse Analytics
• Descripción de Azure Databricks
• Introducción a Azure Data Lake Storage
• Descripción de la arquitectura de Delta Lake
• Trabajo con secuencias de datos mediante Azure Stream Analytics

Módulo 2: Ejecución de consultas interactivas con grupos de SQL sin servidor de Azure Synapse Analytics

En este módulo, los alumnos aprenderán a trabajar con archivos almacenados en el lago de datos y en orígenes de archivos externos mediante instrucciones T-SQL ejecutadas por un grupo de SQL sin servidor en Azure Synapse Analytics. Consultarán los archivos Parquet almacenados en un lago de datos, así como los archivos CSV almacenados en un almacén de datos externo. Luego, crearán grupos de seguridad de Azure Active Directory y exigirán el acceso a los archivos del lago de datos a través del control de acceso basado en roles (RBAC) y listas de control de acceso (ACL).

Lecciones

• Exploración de las capacidades de los grupos de SQL sin servidor de Azure Synapse
• Consulta de datos en el lago mediante grupos de SQL sin servidor de Azure Synapse
• Creación de objetos de metadatos en grupos de SQL sin servidor de Azure Synapse
• Protección de datos y administración de usuarios en grupos de SQL sin servidor de Azure Synapse

Módulo 3: Exploración y transformación de datos en Azure Databricks

En este módulo se enseña a usar varios métodos DataFrame de Apache Spark para explorar y transformar datos en Azure Databricks. Los alumnos aprenderán a usar métodos DataFrame estándar para explorar y transformar datos. También aprenderán a realizar tareas más avanzadas, como quitar datos duplicados, manipular valores de fecha y hora, cambiar el nombre de columnas y agregar datos.

Lecciones

• Descripción de Azure Databricks
• Lectura y escritura de datos en Azure Databricks
• Trabajo con elementos DataFrame en Azure Databricks
• Trabajo con métodos avanzados de DataFrame en Azure Databricks

Módulo 4: Exploración, transformación y carga de datos en almacenamientos de datos con Apache Spark

En este módulo se enseña a explorar los datos almacenados en un lago de datos, a transformar los datos y a cargarlos en un almacén de datos relacional. Los alumnos explorarán archivos Parquet y JSON y usarán técnicas para consultar y transformar archivos JSON con estructuras jerárquicas. Luego, usarán Apache Spark para cargar datos en el almacenamiento de datos y unirán datos de Parquet en el lago de datos con datos del grupo de SQL dedicado.

Lecciones

• Definición de la ingeniería de macrodatos con Apache Spark en Azure Synapse Analytics
• Ingesta de datos con cuadernos de Apache Spark en Azure Synapse Analytics
• Transformación de datos con objetos DataFrame de grupos de Apache Spark de Azure Synapse Analytics
• Integración de grupos de SQL y Apache Spark en Azure Synapse Analytics

Módulo 5: Ingesta y carga de datos en almacenamientos de datos

En este módulo se enseña a los alumnos a ingerir datos en el almacenamiento de datos mediante scripts de T-SQL y canalizaciones de integración de Synapse Analytics. Los alumnos aprenderán a cargar datos en grupos de SQL dedicados de Synapse con PolyBase y COPY mediante T-SQL. También aprenderán a usar la administración de cargas de trabajo junto con una actividad de copia en una canalización de Azure Synapse para la ingesta de datos a escala de petabytes.

Lecciones

• Uso de procedimientos recomendados para la carga de datos en Azure Synapse Analytics
• Ingesta a escala de petabytes con Azure Data Factory

Módulo 6: Transformación de datos con canalizaciones de Azure Data Factory o Azure Synapse

En este módulo se enseña a los alumnos a crear canalizaciones de integración de datos para ingerir desde varios orígenes de datos, transformar datos mediante flujos de datos de asignación y realizar movimientos de datos en uno o varios receptores de datos.

Lecciones

• Integración de datos con Azure Data Factory o canalización de Azure Synapse
• Realización de transformaciones sin código y a escala con canalizaciones de Azure Data Factory o Azure Synapse

Módulo 7: Organización de movimientos y transformaciones de datos en canalizaciones de Azure Synapse

En este módulo aprenderemos a crear servicios vinculados y a organizar el movimiento y la transformación de datos mediante cuadernos en canalizaciones de Azure Synapse.

Lecciones

• Orquestación de movimientos y transformaciones de datos en Azure Data Factory

Módulo 8: Seguridad integral con Azure Synapse Analytics

En este módulo, los alumnos aprenderán a proteger un área de trabajo de Synapse Analytics y su infraestructura de apoyo. Analizarán el administrador de SQL Active Directory, administrarán reglas de firewall de IP, administrarán secretos con Azure Key Vault y accederán a esos secretos a través de un servicio vinculado de Key Vault y actividades de canalización. También aprenderán a implementar seguridad en el nivel de columna y en el nivel de fila y el enmascaramiento dinámico de datos al usar grupos de SQL dedicados.

Lecciones

• Creación de un almacenamiento de datos en Azure Synapse Analytics
• Configuración y administración de secretos en Azure Key Vault
• Implementación de controles de cumplimiento para datos confidenciales

Módulo 9: Soporte de procesamientos analíticos transaccionales híbridos con Azure Synapse Link

En este módulo, los alumnos aprenderán cómo Azure Synapse Link permite una conectividad sin fisuras entre una cuenta de Azure Cosmos DB y un área de trabajo de Synapse. Los alumnos verán cómo habilitar y configurar Synapse Link y, tras ello, cómo consultar el almacén analítico de Azure Cosmos DB mediante Apache Spark y SQL sin servidor.

Lecciones

• Diseño del procesamiento analítico y transaccional híbrido mediante Azure Synapse Analytics
• Configuración de Azure Synapse Link con Azure Cosmos DB
• Consulta de Azure Cosmos DB con grupos de Apache Spark
• Consulta de Azure Cosmos DB con grupos de SQL sin servidor

Módulo 10: Procesamiento de secuencias en tiempo real con Stream Analytics

En este módulo, los alumnos aprenderán a procesar datos de secuencias con Azure Stream Analytics. Ingerirán datos de telemetría de vehículos en Event Hubs y, tras ello, los procesarán en tiempo real mediante varias funciones basadas en ventana en Azure Stream Analytics. Enviarán los datos a Azure Synapse Analytics. Por último, los alumnos aprenderán a escalar el trabajo de Stream Analytics para aumentar el rendimiento.

Lecciones

• Habilitación de mensajería confiable para aplicaciones de macrodatos con Azure Event Hubs
• Trabajo con secuencias de datos mediante Azure Stream Analytics
• Ingesta de flujos de datos con Azure Stream Analytics

Módulo 11: Creación de una solución de procesamiento de secuencias con Event Hubs y Azure Databricks

En este módulo, los alumnos aprenderán a ingerir y procesar datos de secuencias a escala con Event Hubs y streaming estructurado de Spark en Azure Databricks. Los alumnos conocerán los usos y las características clave del streaming estructurado. Implementarán ventanas deslizantes para agregar fragmentos de datos y aplicarán marcas de agua para quitar datos obsoletos. Por último, los alumnos se conectarán a Event Hubs para leer y escribir secuencias.

Lecciones

• Procesamiento de datos de streaming con Structured Streaming de Azure Databricks