Udostępnianie danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Warstwa udostępniania

Ogólna architektura Big Data: źródła danych, pozyskiwanie, przechowywanie, przetwarzanie, orkiestracja, zarządzanie, udostępnianie, analityczny magazyn danych i raportowanie

Gdzie przechowywać przetworzone dane
Protokoły do ich konsumpcji

Jakie dane posiadamy?

Jakie dane posiadamy?
- Czy dane są ustrukturyzowane?
- Czy dane tworzą szereg czasowy?
Jak dane będą konsumowane?

Repozytorium danych

Data Warehouse
- Automatyczne raportowanie/dashboardy
- BI/Analityka danych
- Bezpośrednie zapytania
Blob storage
Baza danych szeregów czasowych
Baza danych NoSQL

Jak dane będą konsumowane?

Data warehouse
- Automatyczne raportowanie/dashboardy
- BI/Analityka danych
- Bezpośrednie zapytania
Modele uczenia maszynowego
Aplikacje
- Informacje zbiorcze
- Pojedyncze rekordy
Brak uniwersalnego rozwiązania!

Python i R

API/Compute

Udostępnianie danych zależnie od przypadku użycia

System	Typ danych	Przypadek użycia	Narzędzia
Data warehouse	Dane ustrukturyzowane, obsługuje dane częściowo ustrukturyzowane	Zapytania analityczne, BI/analityka, raportowanie/dashboardy	BigQuery, Redshift, Snowflake
Blob storage	Wszystkie typy danych	Modele ML z przetwarzaniem wideo/obrazów, archiwizacja	S3, Cloud Storage, Azure Storage
Baza NoSQL	Dane częściowo ustrukturyzowane, szeregi czasowe	Udostępnianie przez API, wysoki ruch	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Dane ustrukturyzowane, obsługuje dane częściowo ustrukturyzowane	Konsumpcja pojedynczych rekordów, udostępnianie przez API, niski ruch	Postgres, MySQL, Oracle

Udostępnianie a konsumpcja

Udostępnianie danych a ich konsumpcja

Czas na ćwiczenia!

Nowoczesna architektura danych