În acest curs, studentul va învăța despre ingineria datelor în ceea ce privește lucrul cu soluții analitice în lot și în timp real folosind tehnologiile platformei de date Azure. Elevii vor începe prin a înțelege tehnologiile de bază de calcul și stocare care sunt utilizate pentru a construi o soluție analitică. Elevii vor învăța cum să exploreze în mod interactiv datele stocate în fișiere într-un lac de date. Ei vor învăța diferitele tehnici de asimilare care pot fi utilizate pentru a încărca date utilizând capacitatea Apache Spark găsită în Azure Synapse Analytics sau Azure Databricks sau cum să ingereze folosind Azure Data Factory sau Azure Synapse pipelines. Studenții vor învăța, de asemenea, diferitele moduri în care pot transforma datele folosind aceleași tehnologii care sunt folosite pentru a ingera date. Ei vor înțelege importanța implementării securității pentru a se asigura că datele sunt protejate în repaus sau în tranzit. Studentul va arăta apoi cum să creeze un sistem analitic în timp real pentru a crea soluții analitice în timp real.
Inscrie-te folosind formularul de mai jos!
Contacteaza-ne daca ai nevoie de mai multe informatii
- Pret 649€
- Durata 4 zile
- Nivel advanced
- Cursanti 10
- Limba curs Engleza/Romana
- Examen -
- Certificare Microsoft Certificate of Achievement
Detalii curs DP-203T00 Data Engineering on Microsoft Azure
Publicul principal pentru acest curs este reprezentat de profesioniștii de date, arhitecții de date și profesioniștii de business intelligence care doresc să învețe despre ingineria datelor și construirea de soluții analitice folosind tehnologiile platformei de date care există pe Microsoft Azure. Publicul secundar pentru acest curs analiștii de date și oamenii de știință de date care lucrează cu soluții analitice construite pe Microsoft Azure.
Modulul 1: Explorați opțiunile de calcul și stocare pentru sarcinile de lucru de inginerie a datelor
Acest modul oferă o prezentare generală a opțiunilor de tehnologie de calcul și stocare Azure care sunt disponibile inginerilor de date care construiesc sarcini de lucru analitice. Acest modul învață modalități de structurare a lacului de date și de optimizare a fișierelor pentru explorare, streaming și încărcături de lucru în lot. Studentul va învăța cum să organizeze lacul de date în niveluri de rafinare a datelor, pe măsură ce transformă fișierele prin procesare în loturi și în flux. Apoi, ei vor învăța cum să creeze indici pe seturile lor de date, cum ar fi fișierele CSV, JSON și Parquet, și să-i folosească pentru interogări potențiale și accelerarea volumului de lucru.
Lecții
Introducere în Azure Synapse Analytics
Descrieți Azure Databricks
Introducere în stocarea Azure Data Lake
Descrie arhitectura Delta Lake
Lucrați cu fluxuri de date utilizând Azure Stream Analytics
Laborator: Explorați opțiunile de calcul și stocare pentru sarcinile de lucru de inginerie a datelor
Combinați procesarea în flux și în loturi cu o singură conductă
Organizați lacul de date în niveluri de transformare a fișierelor
Indexați stocarea lacului de date pentru interogări și accelerarea sarcinii de lucru
După finalizarea acestui modul, studenții vor fi capabili să:
Descrieți Azure Synapse Analytics
Descrieți Azure Databricks
Descrieți stocarea Azure Data Lake
Descrie arhitectura Delta Lake
Descrieți Azure Stream Analytics
Modulul 2: Rulați interogări interactive utilizând pool-uri SQL fără server Azure Synapse Analytics
În acest modul, studenții vor învăța cum să lucreze cu fișierele stocate în lacul de date și sursele externe de fișiere, prin instrucțiuni T-SQL executate de un pool SQL fără server în Azure Synapse Analytics. Elevii vor interoga fișierele Parquet stocate într-un lac de date, precum și fișierele CSV stocate într-un depozit de date extern. În continuare, vor crea grupuri de securitate Azure Active Directory și vor impune accesul la fișierele din lacul de date prin Controlul accesului bazat pe roluri (RBAC) și Listele de control al accesului (ACL).
Lecții
Explorați capacitățile pool-urilor SQL fără server Azure Synapse
Interogați datele din lac utilizând pool-uri SQL fără server Azure Synapse
Creați obiecte de metadate în pool-urile SQL fără server Azure Synapse
Securizați datele și gestionați utilizatorii în pool-urile SQL fără server Azure Synapse
Laborator: rulați interogări interactive folosind pool-uri SQL fără server
Interogați datele Parquet cu pool-uri SQL fără server
Creați tabele externe pentru fișierele Parquet și CSV
Creați vizualizări cu pool-uri SQL fără server
Accesul securizat la date dintr-un lac de date atunci când utilizați pool-uri SQL fără server
Configurați securitatea lacului de date utilizând Controlul accesului bazat pe roluri (RBAC) și Lista de control al accesului
După finalizarea acestui modul, studenții vor fi capabili să:
Înțelegeți capabilitățile pool-urilor SQL fără server Azure Synapse
Interogați datele din lac utilizând pool-uri SQL fără server Azure Synapse
Creați obiecte de metadate în pool-urile SQL fără server Azure Synapse
Securizați datele și gestionați utilizatorii în pool-urile SQL fără server Azure Synapse
Modulul 3: Explorarea și transformarea datelor în Azure Databricks
Acest modul învață cum să utilizați diferite metode Apache Spark DataFrame pentru a explora și transforma datele în Azure Databricks. Studentul va învăța cum să efectueze metode standard DataFrame pentru a explora și transforma datele. Ei vor învăța, de asemenea, cum să efectueze sarcini mai avansate, cum ar fi eliminarea datelor duplicate, manipularea valorilor date/ora, redenumirea coloanelor și agregarea datelor.
Lecții
Descrieți Azure Databricks
Citiți și scrieți date în Azure Databricks
Lucrați cu DataFrames în Azure Databricks
Lucrați cu metode avansate DataFrames în Azure Databricks
Laborator: Explorarea și transformarea datelor în Azure Databricks
Utilizați DataFrames în Azure Databricks pentru a explora și filtra datele
Memorați în cache un DataFrame pentru interogări ulterioare mai rapide
Eliminați datele duplicate
Manipulați valorile date/ora
Eliminați și redenumiți coloanele DataFrame
Date agregate stocate într-un DataFrame
După finalizarea acestui modul, studenții vor fi capabili să:
Descrieți Azure Databricks
Citiți și scrieți date în Azure Databricks
Lucrați cu DataFrames în Azure Databricks
Lucrați cu metode avansate DataFrames în Azure Databricks
Modulul 4: Explorați, transformați și încărcați datele în Data Warehouse folosind Apache Spark
Acest modul învață cum să explorați datele stocate într-un lac de date, să transformați datele și să încărcați datele într-un depozit de date relaționale. Studentul va explora fișierele Parquet și JSON și va folosi tehnici pentru a interoga și transforma fișiere JSON cu structuri ierarhice. Apoi, studentul va folosi Apache Spark pentru a încărca date în depozitul de date și pentru a uni datele Parquet în lacul de date cu datele din pool-ul SQL dedicat.
Lecții
Înțelegeți ingineria big data cu Apache Spark în Azure Synapse Analytics
Ingerați date cu blocnotesurile Apache Spark în Azure Synapse Analytics
Transformați datele cu DataFrames în pool-urile Apache Spark în Azure Synapse Analytics
Integrați pool-urile SQL și Apache Spark în Azure Synapse Analytics
Laborator: Explorați, transformați și încărcați date în Data Warehouse folosind Apache Spark
Efectuați explorarea datelor în Synapse Studio
Ingerați date cu blocnotesurile Spark în Azure Synapse Analytics
Transformați datele cu DataFrames în pool-urile Spark în Azure Synapse Analytics
Integrați pool-urile SQL și Spark în Azure Synapse Analytics
După finalizarea acestui modul, studenții vor fi capabili să:
Descrieți ingineria big data cu Apache Spark în Azure Synapse Analytics
Ingerați date cu blocnotesurile Apache Spark în Azure Synapse Analytics
Transformați datele cu DataFrames în pool-urile Apache Spark în Azure Synapse Analytics
Integrați pool-urile SQL și Apache Spark în Azure Synapse Analytics
Modulul 5: Ingerați și încărcați date în depozitul de date
Acest modul îi învață pe studenți cum să ingereze date în depozitul de date prin scripturi T-SQL și conducte de integrare Synapse Analytics. Studentul va învăța cum să încarce date în pool-urile SQL dedicate Synapse cu PolyBase și COPY folosind T-SQL. Studentul va învăța, de asemenea, cum să folosească gestionarea sarcinii de lucru împreună cu o activitate de copiere într-o conductă Azure Synapse pentru ingerarea de date la scară petabyte.
Lecții
Utilizați cele mai bune practici de încărcare a datelor în Azure Synapse Analytics
Ingestie la scară petabyte cu Azure Data Factory
Laborator: Ingerați și încărcați date în Depozitul de date
Efectuați asimilarea la scară petabyte cu Azure Synapse Pipelines
Importați date cu PolyBase și COPY folosind T-SQL
Utilizați cele mai bune practici de încărcare a datelor în Azure Synapse Analytics
După finalizarea acestui modul, studenții vor fi capabili să:
Utilizați cele mai bune practici de încărcare a datelor în Azure Synapse Analytics
Ingestie la scară petabyte cu Azure Data Factory
Modulul 6: Transformați datele cu Azure Data Factory sau Azure Synapse Pipelines
Acest modul îi învață pe studenți cum să construiască conducte de integrare a datelor pentru a le ingera din mai multe surse de date, a transforma datele utilizând maparea fluxurilor de date și a efectua mișcarea datelor într-unul sau mai multe colectoare de date.
Lecții
Integrarea datelor cu Azure Data Factory sau Azure Synapse Pipelines
Transformare fără cod la scară cu Azure Data Factory sau Azure Synapse Pipelines
Laborator: Transformați datele cu Azure Data Factory sau Azure Synapse Pipelines
Executați transformări fără cod la scară cu Azure Synapse Pipelines
Creați o conductă de date pentru a importa fișiere CSV prost formatate
Creați fluxuri de date de cartografiere
După finalizarea acestui modul, studenții vor fi capabili să:
Efectuați integrarea datelor cu Azure Data Factory
Efectuați transformare fără cod la scară cu Azure Data Factory
Modulul 7: Orchestrați mișcarea și transformarea datelor în Azure Synapse Pipelines
În acest modul, veți învăța cum să creați servicii conectate și să orchestrați mișcarea și transformarea datelor folosind notebook-uri în Azure Synapse Pipelines.
Lecții
Orchestrați mișcarea și transformarea datelor în Azure Data Factory
Laborator: Orchestrați mișcarea și transformarea datelor în Azure Synapse Pipelines
Integrați datele din notebook-uri cu Azure Data Factory sau Azure Synapse Pipelines
După finalizarea acestui modul, studenții vor fi capabili să:
Orchestrați mișcarea și transformarea datelor în Azure Synapse Pipelines
Modulul 8: Securitate de la capăt la capăt cu Azure Synapse Analytics
În acest modul, studenții vor învăța cum să securizeze un spațiu de lucru Synapse Analytics și infrastructura de sprijin. Studentul va respecta Administratorul SQL Active Directory, va gestiona regulile IP firewall, va gestiona secretele cu Azure Key Vault și va accesa aceste secrete printr-un serviciu conectat Key Vault și activități pipeline. Studentul va înțelege cum să implementeze securitatea la nivel de coloană, securitatea la nivel de rând și mascarea dinamică a datelor atunci când utilizează pool-uri SQL dedicate.
Lecții
Securizați un depozit de date în Azure Synapse Analytics
Configurați și gestionați secretele în Azure Key Vault
Implementați controale de conformitate pentru datele sensibile
Laborator: Securitate de la capăt la capăt cu Azure Synapse Analytics
Securizarea infrastructurii de suport Azure Synapse Analytics
Securizează spațiul de lucru Azure Synapse Analytics și serviciile gestionate
Securizarea datelor din spațiul de lucru Azure Synapse Analytics
După finalizarea acestui modul, studenții vor fi capabili să:
Securizați un depozit de date în Azure Synapse Analytics
Configurați și gestionați secretele în Azure Key Vault
Implementați controale de conformitate pentru datele sensibile
Modulul 9: Sprijiniți procesarea analitică tranzacțională hibridă (HTAP) cu Azure Synapse Link
În acest modul, studenții vor afla cum Azure Synapse Link permite conectivitate perfectă a unui cont Azure Cosmos DB la un spațiu de lucru Synapse. Studentul va înțelege cum să activeze și să configureze legătura Synapse, apoi cum să interogheze magazinul analitic Azure Cosmos DB folosind Apache Spark și SQL serverless.
Lecții
Proiectați procesare tranzacțională și analitică hibridă folosind Azure Synapse Analytics
Configurați Azure Synapse Link cu Azure Cosmos DB
Interogați Azure Cosmos DB cu pool-uri Apache Spark
Interogați Azure Cosmos DB cu pool-uri SQL fără server
Laborator: Acceptați procesarea analitică tranzacțională hibridă (HTAP) cu Azure Synapse Link
Configurați Azure Synapse Link cu Azure Cosmos DB
Interogați Azure Cosmos DB cu Apache Spark pentru Synapse Analytics
Interogați Azure Cosmos DB cu pool SQL fără server pentru Azure Synapse Analytics
După finalizarea acestui modul, studenții vor fi capabili să:
Proiectați procesare tranzacțională și analitică hibridă folosind Azure Synapse Analytics
Configurați Azure Synapse Link cu Azure Cosmos DB
Interogați Azure Cosmos DB cu Apache Spark pentru Azure Synapse Analytics
Interogați Azure Cosmos DB cu SQL serverless pentru Azure Synapse Analytics
Modulul 10: Procesarea fluxului în timp real cu Stream Analytics
În acest modul, studenții vor învăța cum să proceseze date în flux cu Azure Stream Analytics. Elevul va ingera datele de telemetrie a vehiculului în Huburi de evenimente, apoi va procesa acele date în timp real, folosind diferite funcții de ferestre în Azure Stream Analytics. Ei vor scoate datele către Azure Synapse Analytics. În cele din urmă, studentul va învăța cum să scaleze jobul Stream Analytics pentru a crește debitul.
Lecții
Activați mesageria fiabilă pentru aplicațiile Big Data folosind Azure Event Hubs
Lucrați cu fluxuri de date utilizând Azure Stream Analytics
Ingerați fluxuri de date cu Azure Stream Analytics
Laborator: Procesarea fluxului în timp real cu analiza fluxului
Utilizați Stream Analytics pentru a procesa date în timp real de la Event Hubs
Folosiți funcțiile de fereastră Stream Analytics pentru a crea agregate și rezultate în Synapse Analytics
Scalați jobul Azure Stream Analytics pentru a crește debitul prin partiționare
Repartiționați intrarea fluxului pentru a optimiza paralelizarea
După finalizarea acestui modul, studenții vor fi capabili să:
Activați mesageria fiabilă pentru aplicațiile Big Data folosind Azure Event Hubs
Lucrați cu fluxuri de date utilizând Azure Stream Analytics
Ingerați fluxuri de date cu Azure Stream Analytics
Modulul 11: Creați o soluție de procesare a fluxului cu Huburi de evenimente și Azure Databricks
În acest modul, studenții vor învăța cum să ingereze și să proceseze date de streaming la scară cu Event Hubs și Spark Structured Streaming în Azure Databricks. Studentul va învăța caracteristicile și utilizările cheie ale Streamingului structurat. Elevul va implementa ferestre glisante pentru a agrega peste bucăți de date și va aplica filigran pentru a elimina datele învechite. În cele din urmă, studentul se va conecta la Huburi de evenimente pentru a citi și scrie fluxuri.
Lecții
Procesați datele de streaming cu fluxul structurat Azure Databricks
Laborator: Creați o soluție de procesare a fluxurilor cu Huburi de evenimente și Azure Databricks
Explorați caracteristicile și utilizările cheie ale Streamingului structurat
Transmiteți date dintr-un fișier și scrieți-le într-un sistem de fișiere distribuit
Utilizați ferestre glisante pentru a agrega mai degrabă bucăți de date decât toate datele
Aplicați filigran pentru a elimina datele învechite
Conectați-vă la Event Hub-uri de citire și scriere a fluxurilor
După finalizarea acestui modul, studenții vor fi capabili să:
Procesați datele de streaming cu fluxul structurat Azure Databricks