अखंडता जाँचना

pandas के साथ Data Joining

Aaren Stubberfield

Instructor

चलो अपना डेटा जाँचें

संभावित merging समस्या:

एक-से-अनेक संबंध के साथ दो DataFrames क्षैतिज रूप से जोड़े हुए

  • अनचाहा one-to-many संबंध
  • अनचाहा many-to-many संबंध

संभावित concatenating समस्या:

दूसरे DataFrame में डुप्लिकेट पंक्ति के साथ दो DataFrames को ऊर्ध्वाधर जोड़ा गया

  • संभव है कि डुप्लिकेट रिकॉर्ड अनजाने में जुड़ गए हों
pandas के साथ Data Joining

Merges को validate करना

.merge(validate=None):

  • जाँचता है कि merge दिया हुआ प्रकार है या नहीं
  • 'one_to_one'
  • 'one_to_many'
  • 'many_to_one'
  • 'many_to_many'
pandas के साथ Data Joining

उदाहरण के लिए merge डेटासेट

टेबल नाम: tracks

  tid  name             aid  mtid  gid  u_price
0 2    Balls to the...  2    2     1    0.99   
1 3    Fast As a Shark  3    2     1    0.99   
2 4    Restless and...  3    2     1    0.99

टेबल नाम: specs

  tid  milliseconds  bytes  
0 2    342562        5510424
1 3    230619        3990994
2 2    252051        4331779
pandas के साथ Data Joining

Merge validate: one_to_one

tracks.merge(specs, on='tid', 
             validate='one_to_one')

Traceback (most recent call last):
MergeError: Merge keys are not unique in right dataset; not a one-to-one merge
pandas के साथ Data Joining

Merge validate: one_to_many

albums.merge(tracks, on='aid', 
             validate='one_to_many')

  aid  title            artid  tid  name             mtid  gid  u_price
0 2    Balls to the...  2      2    Balls to the...  2     1    0.99   
1 3    Restless and...  2      3    Fast As a Shark  2     1    0.99   
2 3    Restless and...  2      4    Restless and...  2     1    0.99
pandas के साथ Data Joining

Concatenations को verify करना

.concat(verify_integrity=False):

  • जाँचता है कि नए concatenated index में duplicates हैं या नहीं
  • डिफ़ॉल्ट मान False है
pandas के साथ Data Joining

.concat() उदाहरण के लिए डेटासेट

टेबल नाम: inv_feb

     cid  invoice_date  total
iid 
7    38   2009-02-01    1.98 
8    40   2009-02-01    1.98 
9    42   2009-02-02    3.96

टेबल नाम: inv_mar

     cid  invoice_date  total
iid 
9    17   2009-03-04    1.98 
15   19   2009-03-04    1.98 
16   21   2009-03-05    3.96
pandas के साथ Data Joining

Concatenation verify करना: उदाहरण

pd.concat([inv_feb, inv_mar], 
          verify_integrity=True)

Traceback (most recent call last):
ValueError: Indexes have overlapping 
values: Int64Index([9], dtype='int64', 
name='iid')

pd.concat([inv_feb, inv_mar], 
          verify_integrity=False)

     cid  invoice_date  total
iid 
7    38   2009-02-01    1.98 
8    40   2009-02-01    1.98 
9    42   2009-02-02    3.96 
9    17   2009-03-04    1.98 
15   19   2009-03-04    1.98 
16   21   2009-03-05    3.96
pandas के साथ Data Joining

अखंडता क्यों जाँचें और क्या करें

क्यों:

  • वास्तविक दुनिया का डेटा अक्सर NOT clean होता है

क्या करें:

  • गलत डेटा ठीक करें
  • डुप्लिकेट पंक्तियाँ हटाएँ
pandas के साथ Data Joining

अभ्यास करते हैं!

pandas के साथ Data Joining

Preparing Video For Download...