Menyimpan data

Perancangan Basis Data

Lis Sulmont

Curriculum Manager

Menstrukturkan data

1. Data terstruktur  

  • Mengikuti skema
  • Tipe data & relasi terdefinisi

mis., SQL, tabel di basis data relasional

2. Data tidak terstruktur  

  • Tanpa skema
  • Mayoritas data di dunia

mis., foto, log chat, MP3

3. Data semi-terstruktur

  • Tidak mengikuti skema besar
  • Struktur self-describing

mis., NoSQL, XML, JSON

# Example of a JSON file
"user": {
     "profile_use_background_image": true, 
     "statuses_count": 31, 
     "profile_background_color": "C0DEED", 
     "followers_count": 3066, 
     ...
Perancangan Basis Data

Menstrukturkan data

Diagram menunjukkan spektrum antara data terstruktur dan tidak terstruktur

1 Flower by Sam Oth and Database Diagram by Nick Jenkins via Wikimedia Commons https://commons.wikimedia.org/wiki/File:Languages_xml.png
Perancangan Basis Data

Menyimpan data di luar basis data tradisional

  • Basis data tradisional
    • Untuk menyimpan data terstruktur relasional real-time ⟶ OLTP
  • Gudang data
    • Untuk menganalisis data terstruktur yang diarsipkan ⟶ OLAP
  • Data lake
    • Untuk menyimpan semua struktur data = fleksibel dan skalabel
    • Untuk menganalisis big data
Perancangan Basis Data

Gudang data

  • Dioptimalkan untuk analitik - OLAP
    • Diatur untuk membaca/mengagregasi data
    • Biasanya hanya-baca
  • Berisi data dari banyak sumber
  • Massively Parallel Processing (MPP)
  • Biasanya memakai skema terdenormalisasi dan pemodelan dimensional

Data mart

  • Subset dari gudang data
  • Didedikasikan untuk topik tertentu

Amazon Redshift, Google BigQuery, dan Azure SQL Data Warehouse

Data mart sebagai subset dari gudang data

Perancangan Basis Data

Data lake

  • Menyimpan semua jenis data dengan biaya lebih rendah:
    • mis., mentah, basis data operasional, log perangkat IoT, real-time, relasional dan non-relasional
  • Menyimpan seluruh data dan bisa mencapai petabyte
  • Schema-on-read bukan schema-on-write
  • Perlu katalog data, jika tidak menjadi data swamp
  • Menjalankan analitik big data dengan layanan seperti Apache Spark dan Hadoop
    • Berguna untuk deep learning dan penemuan data karena memerlukan sangat banyak data

Amazon, Google, dan Microsoft menawarkan solusi Data Lake

Perancangan Basis Data

ETL

ELT

Perancangan Basis Data

Ayo berlatih!

Perancangan Basis Data

Preparing Video For Download...