क्रॉस-फ़ील्ड वैलिडेशन
Python में डेटा क्लीनिंग
Adel Nehme
VP of AI Curriculum, DataCamp
प्रेरणा
import pandas as pd
flights = pd.read_csv('flights.csv')
flights.head()
flight_number economy_class business_class first_class total_passengers
0 DL140 100 60 40 200
1 BA248 130 100 70 300
2 MEA124 100 50 50 200
3 AFR939 140 70 90 300
4 TKA101 130 100 20 250
क्रॉस-फ़ील्ड वैलिडेशन
डेटासेट में कई फ़ील्ड का उपयोग करके डेटा इंटीग्रिटी की जाँच करना
flight_number economy_class business_class first_class total_passengers
0 DL140 100 + 60 + 40 = 200
1 BA248 130 + 100 + 70 = 300
2 MEA124 100 + 50 + 50 = 200
3 AFR939 140 + 70 + 90 = 300
4 TKA101 130 + 100 + 20 = 250
sum_classes = flights[['economy_class', 'business_class', 'first_class']].sum(axis = 1)passenger_equ = sum_classes == flights['total_passengers']# असंगत यात्री कुल वाली पंक्तियाँ ढूँढें और फ़िल्टर करें inconsistent_pass = flights[~passenger_equ] consistent_pass = flights[passenger_equ]
क्रॉस-फ़ील्ड वैलिडेशन
users.head()
user_id Age Birthday
0 32985 22 1998-03-02
1 94387 27 1993-12-04
2 34236 42 1978-11-24
3 12551 31 1989-01-03
4 55212 18 2002-07-02
क्रॉस-फ़ील्ड वैलिडेशन
import pandas as pd import datetime as dt # datetime में बदलें और आज की तारीख लें users['Birthday'] = pd.to_datetime(users['Birthday'])today = dt.date.today()# Birthday कॉलम की हर पंक्ति के लिए वर्ष का अंतर निकालें age_manual = today.year - users['Birthday'].dt.year# जहाँ उम्रें मेल खाएँ, उन्हें ढूँढें age_equ = age_manual == users['Age']# असंगत उम्र वाली पंक्तियाँ ढूँढें और फ़िल्टर करें inconsistent_age = users[~age_equ] consistent_age = users[age_equ]
असंगतियाँ मिलें तो क्या करें?
अभ्यास करते हैं!
Python में डेटा क्लीनिंग
