Saluran Data

Memahami Ilmu Data

Sara Billen

Curriculum Manager

$$ Pengumpulan dan ingest data dengan satu sumber

Memahami Ilmu Data

$$ Pengumpulan dan penyerapan data dengan tiga sumber

$$

Bagaimana kita meningkatkan skala?

Lebih dari satu sumber data:

  • Catatan publik
  • API
  • Basis data

Jenis data yang berbeda:

  • Data tidak terstruktur
  • Data disusun dalam tabel
  • Data streaming waktu nyata misalnya, tweet
Memahami Ilmu Data

Apa itu saluran data ?

  • Memindahkan data ke tahap yang ditentukan
  • Pengumpulan dan Penyimpanan Otomatis
    • Terjadwal per jam, harian, mingguan, dll
    • Dipicu oleh suatu peristiwa
  • Dipantau dengan peringatan yang dihasilkan
  • Diperlukan untuk proyek big data
  • Insinyur data bekerja untuk menyesuaikan solusi
  • Ekstrak Transformasi Muat (ETL)

Data pipeline

Memahami Ilmu Data

Studi kasus: rumah pintar

Data Sumber Frekuensi
Kondisi cuaca API Layanan Cuaca Nasional Setiap 30 menit
Tweet di area Anda Twitter API Aliran waktu nyata
Suhu dalam ruangan Termostat rumah pintar Setiap 5 menit
Status lampu Bohlam lampu pintar Setiap menit
Status kunci Kunci pintu pintar Setiap 15 detik
Konsumsi energi Meter pintar Mingguan
Memahami Ilmu Data

Ekstrak

Fase ekstrak

Sumber Frekuensi
API Cuaca Nasional Setiap 30 menit
Twitter API Aliran waktu nyata
Termostat rumah pintar Setiap 5 menit
Lampu pintar Setiap menit
Kunci pintu pintar Setiap 15 detik
Smart meter Mingguan
Memahami Ilmu Data

Mengubah

Fase pemuatan

Memahami Ilmu Data

Mengubah

Dengan semua data yang masuk, bagaimana kita menjaganya tetap terorganisasi dan mudah digunakan?

$$ Contoh transformasi:

  • Menggabungkan sumber data menjadi satu set data
  • Mengonversi struktur data agar sesuai dengan skema basis data
  • Menghapus data yang tidak relevan

Persiapan dan eksplorasi data tidak terjadi pada tahap ini

Memahami Ilmu Data

Memuat

Fase pemuatan

Memahami Ilmu Data

Otomatisasi

Automating

Memahami Ilmu Data

Ayo berlatih!

Memahami Ilmu Data

Preparing Video For Download...