Pengantar pembersihan data dengan Apache Spark
Membersihkan Data dengan PySpark
Mike Metzger
Data Engineering Consultant
Apa itu Pembersihan Data?
Pembersihan Data: Menyiapkan data mentah untuk digunakan dalam pipeline pemrosesan data.
Tugas yang mungkin dalam pembersihan data:
- Memformat ulang atau mengganti teks
- Melakukan perhitungan
- Menghapus data sampah atau tidak lengkap
Mengapa membersihkan data dengan Spark?
Masalah pada sistem data umum:
- Kinerja
- Mengatur alur data
Keunggulan Spark:
- Dapat diskalakan
- Kerangka kerja andal untuk penanganan data
Contoh pembersihan data
Data mentah:
| name | age (years) | city |
|---|---|---|
| Smith, John | 37 | Dallas |
| Wilson, A. | 59 | Chicago |
| null | 215 |
Data yang telah dibersihkan:
| last name | first name | age (months) | state |
|---|---|---|---|
| Smith | John | 444 | TX |
| Wilson | A. | 708 | IL |
Skema Spark
- Mendefinisikan format DataFrame
- Dapat berisi berbagai tipe data:
- String, tanggal, integer, array
- Dapat memfilter data sampah saat impor
- Meningkatkan kinerja pembacaan
Contoh Skema Spark
Impor skema
import pyspark.sql.types
peopleSchema = StructType([
# Define the name field
StructField('name', StringType(), True),
# Add the age field
StructField('age', IntegerType(), True),
# Add the city field
StructField('city', StringType(), True)
])
Baca file CSV yang berisi data
people_df = spark.read.format('csv').load(name='rawdata.csv', schema=peopleSchema)
Ayo berlatih!
Membersihkan Data dengan PySpark
