验证完整性

使用 pandas 连接数据

Aaren Stubberfield

Instructor

检查数据完整性

可能的合并问题:

两个 DataFrame 水平合并,形成一对多关系

  • 无意的一对多关系
  • 无意的多对多关系

可能的拼接问题:

两个 DataFrame 垂直拼接,第二个含重复行

  • 可能无意引入重复记录
使用 pandas 连接数据

合并验证

.merge(validate=None)

  • 检查合并是否为指定类型
  • 'one_to_one'
  • 'one_to_many'
  • 'many_to_one'
  • 'many_to_many'
使用 pandas 连接数据

合并示例数据集

表名:tracks

  tid  name             aid  mtid  gid  u_price
0 2    Balls to the...  2    2     1    0.99   
1 3    Fast As a Shark  3    2     1    0.99   
2 4    Restless and...  3    2     1    0.99   

表名:specs

  tid  milliseconds  bytes  
0 2    342562        5510424
1 3    230619        3990994
2 2    252051        4331779
使用 pandas 连接数据

合并校验:one_to_one

tracks.merge(specs, on='tid', 
             validate='one_to_one')
Traceback (most recent call last):
MergeError: Merge keys are not unique in right dataset; not a one-to-one merge
使用 pandas 连接数据

合并校验:one_to_many

albums.merge(tracks, on='aid', 
             validate='one_to_many')
  aid  title            artid  tid  name             mtid  gid  u_price
0 2    Balls to the...  2      2    Balls to the...  2     1    0.99   
1 3    Restless and...  2      3    Fast As a Shark  2     1    0.99   
2 3    Restless and...  2      4    Restless and...  2     1    0.99   
使用 pandas 连接数据

验证拼接

.concat(verify_integrity=False)

  • 检查新拼接的索引是否含重复值
  • 默认值为 False
使用 pandas 连接数据

用于 .concat() 的数据集示例

表名:inv_feb

     cid  invoice_date  total
iid 
7    38   2009-02-01    1.98 
8    40   2009-02-01    1.98 
9    42   2009-02-02    3.96 

表名:inv_mar

     cid  invoice_date  total
iid 
9    17   2009-03-04    1.98 
15   19   2009-03-04    1.98 
16   21   2009-03-05    3.96 
使用 pandas 连接数据

拼接完整性验证:示例

pd.concat([inv_feb, inv_mar], 
          verify_integrity=True)
Traceback (most recent call last):
ValueError: Indexes have overlapping 
values: Int64Index([9], dtype='int64', 
name='iid')
pd.concat([inv_feb, inv_mar], 
          verify_integrity=False)
     cid  invoice_date  total
iid 
7    38   2009-02-01    1.98 
8    40   2009-02-01    1.98 
9    42   2009-02-02    3.96 
9    17   2009-03-04    1.98 
15   19   2009-03-04    1.98 
16   21   2009-03-05    3.96
使用 pandas 连接数据

为何验证完整性及处理方法

原因:

  • 真实世界数据常常并非干净

应对:

  • 修正错误数据
  • 删除重复行
使用 pandas 连接数据

Vamos praticar!

使用 pandas 连接数据

Preparing Video For Download...