Saluran Data

Memahami Ilmu Data

Sara Billen

Curriculum Manager

$$ Pengumpulan dan pemrosesan data dari satu sumber

Memahami Ilmu Data

$$ Pengumpulan dan pemrosesan data dari tiga sumber

$$

Bagaimana cara melakukan penskalaan?

Lebih dari satu sumber data:

  • Catatan publik
  • Antarmuka Pemrograman Aplikasi (API)
  • Basis data

Tipe data yang berbeda:

  • Data tidak terstruktur
  • Data tabel
  • Data streaming waktu nyata , misalnya, tweet
Memahami Ilmu Data

Apa itu saluran data?

  • Memindahkan data ke tahap-tahap yang telah ditentukan
  • Pengumpulan dan penyimpanan otomatis
    • Jadwal harian, mingguan, bulanan, dll.
    • Dipicu oleh suatu peristiwa
  • Dipantau dengan pemberitahuan yang dihasilkan
  • Diperlukan untuk proyek big data
  • Insinyur data bekerja untuk menyesuaikan solusi.
  • Ekstraksi, Transformasi, dan Pemuatan(ETL)

Saluran data

Memahami Ilmu Data

Studi kasus: rumah pintar

Data Sumber Frekuensi
Kondisi cuaca Antarmuka Pemrograman Aplikasi (API) Layanan Cuaca Nasional Setiap 30 menit
Tweet di daerah Anda Twitter API Siaran langsung
Suhu ruangan Termostat pintar untuk rumah Setiap 5 menit
Status lampu Lampu pintar Setiap menit
Status kunci Kunci pintu pintar Setiap 15 detik
Konsumsi energi Meter pintar Mingguan
Memahami Ilmu Data

Ekstrak

Fase ekstraksi

Sumber Frekuensi
API Cuaca Nasional Setiap 30 menit
Twitter API Siaran langsung
Termostat pintar untuk rumah Setiap 5 menit
Lampu pintar Setiap menit
Kunci pintu pintar Setiap 15 detik
Meter pintar Mingguan
Memahami Ilmu Data

Transformasi

Fase pemuatan

Memahami Ilmu Data

Transformasi

Dengan semua data yang masuk, bagaimana kita bisa menjaga agar data tersebut tetap terorganisir dan mudah digunakan?

$$ Contoh transformasi:

  • Menggabungkan sumber data menjadi satu set data
  • Mengonversi struktur data agar sesuai dengan skema basis data
  • Menghapus data yang tidak relevan

Persiapan dan eksplorasi data tidak dilakukan pada tahap ini.

Memahami Ilmu Data

Memuat

Fase pemuatan

Memahami Ilmu Data

Otomatisasi

Mengotomatiskan

Memahami Ilmu Data

Ayo berlatih!

Memahami Ilmu Data

Preparing Video For Download...