Apa bedanya data warehouse dan data lake?

Konsep Data Warehousing

Aaren Stubberfield

Data Scientist

Database

• Data terstruktur dalam baris dan kolom
• Basis data transaksional menyimpan transaksi

Data warehouse

• Kumpulkan, integrasikan, dan sediakan data untuk analisis
• Banyak sumber data masukan
• Menyimpan data terstruktur
• Sulit diubah
  • Dampak hulu dan hilir harus dipertimbangkan
• Biasanya >100 GB

Mengapa data warehouse?

• Seberapa cepat kueri berjalan pada data besar
• Hindari memperlambat basis data transaksional

Data mart

• Basis data relasional untuk analisis
• Data fokus pada satu area/topik
• Sedikit sumber data masukan
• Biasanya <100 GB

Data lake

• Penyimpanan data seluruh organisasi
  • Berisi data dari banyak departemen
  • Banyak sumber data masukan
  • Biasanya >100 GB
• Menyimpan data terstruktur dan tidak terstruktur
  • Contoh: video, audio, dokumen

Data lake

• Lebih mudah diubah
  • Dampak hulu–hilir lebih sedikit
• Tujuan penyimpanan data bisa belum jelas
  • Lebih kurang teratur

Ringkasan

Fitur	Data Warehouse	Data Mart	Data Lake
Struktur data	Terstruktur	Terstruktur	Terstruktur & Tidak terstruktur
Kompleksitas perubahan	Kompleks	Kompleks	Kurang kompleks
Tujuan data	Diketahui	Diketahui	Mungkin belum diketahui
Cakupan departemen	Mencakup banyak	Hanya satu	Mencakup banyak
Sumber data	Banyak sistem sumber	Sedikit sumber	Banyak sistem sumber
Ukuran tipikal	>100 GB	<100 GB	>100 GB

Ayo berlatih!

Konsep Data Warehousing