Menú
Propósito:
Objetivos:
Dirigido a:
Requisitos previos:
En este módulo se proporciona información general sobre las opciones de tecnología de proceso y almacenamiento de Azure que hay disponibles para los ingenieros de datos que crean cargas de trabajo analíticas. En este módulo se enseña a estructurar el lago de datos y a optimizar los archivos para las cargas de trabajo de exploración, secuencias y lotes. El alumno aprenderá a organizar el lago de datos en niveles de refinamiento de datos a medida que transforman los archivos a través del procesamiento por lotes y de secuencias. Luego, aprenderán a crear índices en sus conjuntos de datos, como archivos CSV, JSON y Parquet, y a usarlos para una posible aceleración de las consultas y las cargas de trabajo.
En este módulo, los alumnos aprenderán a trabajar con archivos almacenados en el lago de datos y en orígenes de archivos externos mediante instrucciones T-SQL ejecutadas por un grupo de SQL sin servidor en Azure Synapse Analytics. Consultarán los archivos Parquet almacenados en un lago de datos, así como los archivos CSV almacenados en un almacén de datos externo. Luego, crearán grupos de seguridad de Azure Active Directory y exigirán el acceso a los archivos del lago de datos a través del control de acceso basado en roles (RBAC) y listas de control de acceso (ACL).
En este módulo se enseña a usar varios métodos DataFrame de Apache Spark para explorar y transformar datos en Azure Databricks. Los alumnos aprenderán a usar métodos DataFrame estándar para explorar y transformar datos. También aprenderán a realizar tareas más avanzadas, como quitar datos duplicados, manipular valores de fecha y hora, cambiar el nombre de columnas y agregar datos.
En este módulo se enseña a explorar los datos almacenados en un lago de datos, a transformar los datos y a cargarlos en un almacén de datos relacional. Los alumnos explorarán archivos Parquet y JSON y usarán técnicas para consultar y transformar archivos JSON con estructuras jerárquicas. Luego, usarán Apache Spark para cargar datos en el almacenamiento de datos y unirán datos de Parquet en el lago de datos con datos del grupo de SQL dedicado.
En este módulo se enseña a los alumnos a ingerir datos en el almacenamiento de datos mediante scripts de T-SQL y canalizaciones de integración de Synapse Analytics. Los alumnos aprenderán a cargar datos en grupos de SQL dedicados de Synapse con PolyBase y COPY mediante T-SQL. También aprenderán a usar la administración de cargas de trabajo junto con una actividad de copia en una canalización de Azure Synapse para la ingesta de datos a escala de petabytes.
En este módulo se enseña a los alumnos a crear canalizaciones de integración de datos para ingerir desde varios orígenes de datos, transformar datos mediante flujos de datos de asignación y realizar movimientos de datos en uno o varios receptores de datos.
En este módulo aprenderemos a crear servicios vinculados y a organizar el movimiento y la transformación de datos mediante cuadernos en canalizaciones de Azure Synapse.
En este módulo, los alumnos aprenderán a proteger un área de trabajo de Synapse Analytics y su infraestructura de apoyo. Analizarán el administrador de SQL Active Directory, administrarán reglas de firewall de IP, administrarán secretos con Azure Key Vault y accederán a esos secretos a través de un servicio vinculado de Key Vault y actividades de canalización. También aprenderán a implementar seguridad en el nivel de columna y en el nivel de fila y el enmascaramiento dinámico de datos al usar grupos de SQL dedicados.
En este módulo, los alumnos aprenderán cómo Azure Synapse Link permite una conectividad sin fisuras entre una cuenta de Azure Cosmos DB y un área de trabajo de Synapse. Los alumnos verán cómo habilitar y configurar Synapse Link y, tras ello, cómo consultar el almacén analítico de Azure Cosmos DB mediante Apache Spark y SQL sin servidor.
En este módulo, los alumnos aprenderán a procesar datos de secuencias con Azure Stream Analytics. Ingerirán datos de telemetría de vehículos en Event Hubs y, tras ello, los procesarán en tiempo real mediante varias funciones basadas en ventana en Azure Stream Analytics. Enviarán los datos a Azure Synapse Analytics. Por último, los alumnos aprenderán a escalar el trabajo de Stream Analytics para aumentar el rendimiento.
En este módulo, los alumnos aprenderán a ingerir y procesar datos de secuencias a escala con Event Hubs y streaming estructurado de Spark en Azure Databricks. Los alumnos conocerán los usos y las características clave del streaming estructurado. Implementarán ventanas deslizantes para agregar fragmentos de datos y aplicarán marcas de agua para quitar datos obsoletos. Por último, los alumnos se conectarán a Event Hubs para leer y escribir secuencias.
© IDESE Formación S.L.
