W ramach szkolenia uczestnicy zaimplementują różne technologie platformy danych w rozwiązaniach spełniających określone wymagania biznesowe i techniczne, w szczególności w scenariuszach przetwarzania danych w środowiskach lokalnych, chmurowych i hybrydowych z wykorzystaniem zarówno danych relacyjnych, jak i danych NoSQL. Dowiedzą się również, w jaki sposób przetwarzać dane strumieniowe i wsadowe za pomocą różnych technologii i języków.
Uczestnicy poznają także metody implementowania zabezpieczeń danych, m.in. z wykorzystaniem uwierzytelnienia, autoryzacji, strategii przetwarzania danych i standardów. Uczestnicy zdefiniują również i zaimplementują rozwiązanie do monitorowania działań związanych z przechowywaniem i przetwarzaniem danych. Ostatnim etapem szkolenia jest zarządzanie rozwiązaniami Azure przetwarzającymi dane oraz rozwiązywanie problemów. Obejmuje to takie zagadnienia, jak optymalizacja wielkich zbiorów danych i ich odzyskiwanie po awarii, przetwarzanie wsadowe i rozwiązania do przetwarzania danych strumieniowych.
Wymagania:
Oprócz odpowiedniego doświadczenia zawodowego osoby, które chcą wziąć udział w tym szkoleniu, powinny mieć wiedzę techniczną w zakresie objętym tematyką szkolenia: Podstawy platformy Azure.
Szkolenie prowadzone jest w języku polskim, materiały w języku angielskim.
Moduł 1: Platforma Azure dla inżynierów danych
W module omawiany jest rozwój koncepcji dotyczących przetwarzania danych oraz nowe możliwości eksploracji danych dostępne dla przedsiębiorstw dzięki technologiom platformy danych w chmurze. Uczestnicy zapoznają się także z przeglądem różnych dostępnych technologii platform danych w chmurze oraz z rolą i obowiązkami inżyniera danych w nowym środowisku w kontekście korzyści uzyskiwanych przez przedsiębiorstwo.
Program
- Rozwój koncepcji dotyczących przetwarzania danych
- Przegląd usług na platformie danych Azure
- Określenie zadań wykonywanych przez inżyniera danych
- Opis przypadków użycia w środowisku chmury w ramach przykładu wdrożenia
- Ćwiczenie: Platforma Azure dla inżynierów danych
- Określenie koncepcji dotyczących przetwarzania danych
- Określenie usług platformy danych Azure
- Określenie zadań wykonywanych przez inżyniera danych
- Finalizacja produktów związanych z inżynierią danych
Moduł 2: Przechowywanie danych
W tym module przedstawione zostają różne sposoby przechowywania danych na platformie Azure. Uczestnicy szkolenia poznają podstawy zarządzania pamięcią na platformie Azure, sposoby tworzenia konta usługi Storage, a także sposób wyboru odpowiedniego modelu dla danych, które mają być przechowywane w chmurze. Uczestnicy szkolenia dowiedzą się również, jak można w prosty sposób utworzyć magazyn Data Lake w celu obsługi różnych rozwiązań do analizy wielkich zbiorów danych.
Program
- Wybór sposobu przechowywania danych na platformie Azure
- Tworzenie konta usługi Azure Storage
- Omówienie usługi Azure Data Lake Storage
- Przesyłanie danych do magazynu Azure Data Lake
- Ćwiczenie: Przechowywanie danych
Moduł 3: Praca zespołowa nad analizą danych z wykorzystaniem usługi Azure Databricks
W ramach modułu uczestnicy szkolenia mają okazję zapoznać się z usługą Azure Databricks i ze sposobami jej przygotowania przez inżyniera danych na potrzeby realizacji w przedsiębiorstwie zespołowych projektów związanych z analizą danych. Omówione zostaną również podstawy usługi Azure Databricks i notatniki Apache Spark, a także sposoby udostępniania usługi i obszarów roboczych oraz wykonywania zadania przygotowania danych przydatnych w projekcie związanym z analizą danych.
Program
- Omówienie usługi Azure Databricks
- Praca z usługą Azure Databricks
- Odczytywanie danych z wykorzystaniem usługi Azure Databricks
- Wykonywanie transformacji z wykorzystaniem usługi Azure Databricks
- Ćwiczenie: Praca zespołowa nad analizą danych z wykorzystaniem usługi Azure Databricks
Moduł 4: Tworzenie globalnych rozproszonych baz danych z wykorzystaniem usługi Cosmos DB
W ramach tego modułu uczestnicy szkolenia poznają sposoby pracy z danymi NoSQL z wykorzystaniem usługi Azure Cosmos DB. Dowiedzą się, na czym polega udostępnianie usługi, w jaki sposób można ładować dane i tworzyć do nich zapytania za pomocą rozszerzeń programu Visual Studio Code i pakietu Azure Cosmos DB .NET Core SDK. Omówione zostaną również metody konfigurowania opcji dostępności, tak aby użytkownicy mogli uzyskać dostęp do danych z dowolnego miejsca na świecie.
Program
- Tworzenie skalowalnej bazy danych Azure Cosmos DB
- Wstawianie danych do bazy Azure Cosmos DB i tworzenie zapytań
- Tworzenie aplikacji .NET Core obsługującej bazę Cosmos DB w programie Visual Studio Code
- Globalne dystrybuowanie danych z wykorzystaniem usługi Azure Cosmos DB
- Ćwiczenie: Tworzenie globalnych rozproszonych baz danych z wykorzystaniem usługi Cosmos DB
Moduł 5: Praca z relacyjnymi magazynami danych w chmurze
W ramach tego modułu uczestnicy szkolenia poznają opcje relacyjnej platformy danych Azure, w tym usługi SQL Database i SQL Data Warehouse. Po ukończeniu modułu będą mogli uzasadnić decyzje dotyczącą wyboru konkretnej usługi, będą również potrafili udostępniać i łączyć poszczególne usługi oraz zarządzać nimi.
Program
- Używanie usługi Azure SQL Database
- Opis usługi Azure SQL Data Warehouse
- Tworzenie danych i zapytań w usłudze Azure SQL Data Warehouse
- Zastosowanie funkcji PolyBase do ładowania danych do usługi Azure SQL Data Warehouse
- Ćwiczenie: Praca z relacyjnymi magazynami danych w chmurze
Moduł 6: Analiza danych w czasie rzeczywistym z wykorzystaniem usługi Stream Analytics
W ramach tego modułu uczestnicy szkolenia poznają pojęcia danych strumieniowych i przetwarzania zdarzeń oraz zakres ich zastosowania w usługach Event Hubs i Azure Stream Analytics. Następnie skonfigurują zadanie analityczne do przesyłania danych strumieniowych i poznają sposoby tworzenia zapytań do danych przychodzących w celu wykonania ich analizy. W ostatniej części modułu omówione zostanie zarządzanie działającymi zadaniami oraz ich monitorowanie.
Program
- Omówienie strumieni danych i przetwarzania zdarzeń
- Pozyskiwanie danych z wykorzystaniem usługi Event Hubs
- Przetwarzanie danych za pomocą zadań usługi Stream Analytics
- Ćwiczenie: Analiza danych w czasie rzeczywistym z wykorzystaniem usługi Stream Analytics
Moduł 7: Koordynacja przetwarzania danych z wykorzystaniem usługi Azure Data Factory
W ramach tego modułu uczestnicy szkolenia dowiedzą się, w jaki sposób można wykorzystać usługę Azure Data Factory do koordynowania przesyłania i transformacji danych z różnych platform. Poznają możliwości tej technologii i będą w stanie skonfigurować kompleksowy proces pozyskiwania i transformacji danych.
Program
- Omówienie działania usługi Azure Data Factory
- Komponenty usługi Azure Data Factory
- Usługi Azure Data Factory i Databricks
- Ćwiczenie: Koordynacja przetwarzania danych z wykorzystaniem usługi Azure Data Factory
Moduł 8: Zabezpieczanie platform danych Azure
W ramach tego modułu uczestnicy szkolenia poznają wielowarstwowy model ochrony danych dostępny na platformie Azure. Omówione zostaną różne mechanizmy zabezpieczeń, począwszy od konfigurowania bezpiecznych sieci i kluczy dostępu oraz definiowania uprawnień, a skończywszy na monitorowaniu dostępu do różnych magazynów danych.
Program
- Wprowadzenie do problematyki zabezpieczeń
- Główne komponenty zabezpieczeń
- Zabezpieczanie kont usługi Storage i magazynu Data Lake Storage
- Zabezpieczanie magazynów danych
- Zabezpieczanie danych strumieniowych
- Ćwiczenie: Zabezpieczanie platform danych Azure
Moduł 9: Monitorowanie procesów przechowywania i przetwarzania danych oraz rozwiązywanie problemów
W ramach tego modułu uczestnicy szkolenia poznają różne dostępne możliwości monitorowania umożliwiające wsparcie operacyjne w przypadku wystąpienia problemów związanych z architekturą platformy danych. Omówione zostaną często występujące problemy dotyczące przechowywania i przetwarzania danych. Przedstawione zostaną także opcje odzyskiwania awarii pozwalające zapewnić ciągłość biznesową.
Program
- Omówienie dostępnych możliwości monitorowania
- Rozwiązywanie często występujących problemów dotyczących przechowywania danych
- Rozwiązywanie często występujących problemów dotyczących przetwarzania danych
- Zarządzanie usuwaniem skutków awarii
- Ćwiczenie: Monitorowanie procesów przechowywania i przetwarzania danych oraz rozwiązywanie problemów