Czym jest nowoczesna architektura danych?

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Czego się nauczymy?

Nowoczesne architektury danych
Rodzaje architektur danych
Komponenty
- Od pozyskiwania do udostępniania danych
- Zarządzanie danymi
- Orkiestracja
Projektowanie nowoczesnego rozwiązania danych

Nowoczesne architektury danych

Cecha	Nowoczesna architektura danych	Tradycyjna architektura danych
Wolumen i różnorodność	Duże wolumeny, wiele formatów	Mniejsze wolumeny danych strukturalnych
Przechowywanie	Jeziora danych, NoSQL, hurtownie danych	Relacyjne bazy danych, hurtownie danych
Przetwarzanie	Przetwarzanie w czasie rzeczywistym lub bliskim	Tylko wsadowe
Skalowalność i elastyczność	Rozwiązania chmurowe	Inwestycje w sprzęt
Demokratyzacja	Samoobsługowe narzędzia analityczne	Duże uzależnienie od działów IT

Wymagania nowoczesnych architektur danych

Elastyczność i rozszerzalność
Wykorzystanie platform chmurowych do skalowania
Obsługa rosnących wolumenów danych
Krytyczne procesy biznesowe
- Rozliczenia

Integracja rozproszonych domen
Zarządzanie danymi i bezpieczeństwo

¹ https://www.ibm.com/resources/the-data-differentiator/data-architecture

Komponenty

Źródła danych
Pozyskiwanie danych
Przechowywanie danych
Przetwarzanie danych
Orkiestracja danych
Zarządzanie danymi i bezpieczeństwo

Ogólna architektura big data obejmująca źródła danych, przechowywanie, przetwarzanie wsadowe i strumieniowe, orkiestrację oraz magazynowanie analityczne i raportowanie

¹ https://learn.microsoft.com/en-us/azure/architecture/guide/architecture-styles/big-data

Czas na ćwiczenia!

Nowoczesna architektura danych