Rekayasa data dan big data

Memahami Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Tentang kursus ini

• Kursus konseptual
• Tanpa coding
• Tujuan
  • Mampu berdiskusi dengan data engineer
  • Landasan kuat untuk belajar lanjut

Bab 1

Apa itu rekayasa data?

1. Rekayasa data dan big data
2. Data engineer vs data scientist
3. Data pipeline

Bab 2

Cara kerja penyimpanan data

1. Data terstruktur vs tidak terstruktur
2. SQL
3. Data warehouse dan data lake

Bab 3

Cara memindahkan dan memroses data

1. Pemrosesan data
2. Penjadwalan data
3. Komputasi paralel
4. Komputasi awan

$$

$$

$$

Alur kerja data

Alur kerja data

Alur kerja data

Alur kerja data

Data engineer

Data engineer

Data engineer memastikan:

• data yang tepat
• dalam format yang tepat
• ke orang yang tepat
• seefisien mungkin

Tanggung jawab data engineer

• Mengambil data dari berbagai sumber
• Mengoptimalkan database untuk analisis
• Menghapus data rusak
• Mengembangkan, membangun, menguji, dan memelihara arsitektur data

Data engineer dan big data

• Big data menjadi standar =>

Data engineer dan big data

• Big data menjadi standar => kebutuhan data engineer makin tinggi
• Big data:
  • Harus memikirkan cara menangani ukurannya
  • Begitu besar hingga metode tradisional tak lagi efektif

Pertumbuhan big data

• Sensor dan perangkat
• Media sosial
• Data perusahaan
• VoIP (komunikasi suara, sesi multimedia)

¹ Data Age 2025, Seagate, November 2018

Lima V

• Volume (seberapa banyak?)
• Variety (jenis apa?)
• Velocity (seberapa cepat?)
• Veracity (seberapa akurat?)
• Value (seberapa bermanfaat?)

Ringkasan

• Apa yang akan dipelajari
• Aliran data dalam organisasi
• Kapan data engineer berperan
• Tanggung jawab mereka
• Kaitan rekayasa data dengan big data

Ayo berlatih!

Memahami Data Engineering