Penyajian data

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Lapisan penyajian

Arsitektur Big Data umum: sumber data, ingestion, penyimpanan, pemrosesan, orkestrasi, tata kelola, penyajian, serta penyimpanan analitik dan pelaporan

  • Di mana menyimpan data yang telah diproses
  • Protokol untuk mengonsumsinya
Memahami Arsitektur Data Modern

Data apa yang kita punya?

  • Data apa yang kita punya?
    • Apakah datanya terstruktur?
    • Apakah data kita deret waktu?
  • Bagaimana data akan dikonsumsi?

Repositori data

  • Data warehouse
    • Pelaporan/dashboards otomatis
    • BI/Analitik data
    • Kueri langsung
  • Penyimpanan blob
  • Basis data deret waktu
  • Basis data NoSQL
Memahami Arsitektur Data Modern

Bagaimana data akan dikonsumsi?

  • Data warehouse
    • Pelaporan/dashboard otomatis
    • BI/Analitik data
    • Kueri langsung
  • Model machine learning
  • Aplikasi
    • Informasi ringkas
    • Rekaman individual
  • Tidak ada satu solusi untuk semua!

Python & R

API/Komputasi

Memahami Arsitektur Data Modern

Menyajikan data sesuai use case

Sistem Jenis data Penggunaan konsumsi Alat
Data warehouse Data terstruktur, dapat menangani semi-terstruktur Kueri analitis, BI/Analitik, pelaporan/dashboard BigQuery, Redshift, Snowflake
Penyimpanan blob Semua jenis data Model ML untuk video/gambar, pengarsipan S3, Cloud Storage, Azure Storage
Basis data NoSQL Data semi-terstruktur, deret waktu Eksposur API, permintaan tinggi BigTable, DataStore, DynamoDB, CosmosDB
RDMBS Data terstruktur, dapat menangani semi-terstruktur Konsumsi rekaman individual, eksposur API, permintaan lebih rendah Postgres, MySQL, Oracle
Memahami Arsitektur Data Modern

Penyajian vs. konsumsi

Penyajian vs. Konsumsi Data

Memahami Arsitektur Data Modern

Ayo berlatih!

Memahami Arsitektur Data Modern

Preparing Video For Download...