Wprowadzenie do iteracji po DataFrame w pandas

Wydajny kod w Pythonie

Logan Thomas

Scientific Software Technical Trainer, Enthought

Podsumowanie pandas

Przegląd pandas w kursie Intermediate Python
Biblioteka do analizy danych
Główna struktura danych to DataFrame
- Dane tabelaryczne z opisanymi wierszami i kolumnami
- Zbudowana na bazie tablic NumPy
Cel rozdziału:
- Najlepsza praktyka iteracji po DataFrame w pandas

Statystyki baseballowe

import pandas as pd

baseball_df = pd.read_csv('baseball_stats.csv')
print(baseball_df.head())

  Team League  Year   RS   RA   W    G  Playoffs
0  ARI     NL  2012  734  688  81  162         0
1  ATL     NL  2012  700  600  94  162         1
2  BAL     AL  2012  712  705  93  162         1
3  BOS     AL  2012  734  806  69  162         0
4  CHC     NL  2012  613  759  61  162         0

Statystyki baseballowe

  Team
0  ARI     
1  ATL     
2  BAL     
3  BOS     
4  CHC

alt="Logo Arizona Diamondbacks z tekstem ARI, logo Atlanta Braves z tekstem ATL, logo Baltimore Orioles z tekstem BAL, logo Boston Red Sox z tekstem BOS oraz logo Chicago Cubs z tekstem CHC"

Statystyki baseballowe

  Team League  Year   RS   RA   W    G  Playoffs
0  ARI     NL  2012  734  688  81  162         0
1  ATL     NL  2012  700  600  94  162         1
2  BAL     AL  2012  712  705  93  162         1
3  BOS     AL  2012  734  806  69  162         0
4  CHC     NL  2012  613  759  61  162         0

Obliczanie procentu zwycięstw

import numpy as np

def calc_win_perc(wins, games_played):

    win_perc = wins / games_played

    return np.round(win_perc,2)

win_perc = calc_win_perc(50, 100)
print(win_perc)

0.5

Dodawanie procentu zwycięstw do DataFrame

win_perc_list = []

for i in range(len(baseball_df)):
    row = baseball_df.iloc[i]

    wins = row['W']
    games_played = row['G']

    win_perc = calc_win_perc(wins, games_played)

    win_perc_list.append(win_perc)

baseball_df['WP'] = win_perc_list

Dodawanie procentu zwycięstw do DataFrame

print(baseball_df.head())

  Team League  Year   RS   RA   W    G  Playoffs    WP
0  ARI     NL  2012  734  688  81  162         0  0.50
1  ATL     NL  2012  700  600  94  162         1  0.58
2  BAL     AL  2012  712  705  93  162         1  0.57
3  BOS     AL  2012  734  806  69  162         0  0.43
4  CHC     NL  2012  613  759  61  162         0  0.38

Iteracja z użyciem .iloc

%%timeit
win_perc_list = []

for i in range(len(baseball_df)):
    row = baseball_df.iloc[i]

    wins = row['W']
    games_played = row['G']

    win_perc = calc_win_perc(wins, games_played)
    win_perc_list.append(win_perc)

baseball_df['WP'] = win_perc_list

183 ms ± 1.73 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

Iteracja z użyciem .iterrows()

win_perc_list = []

for i,row in baseball_df.iterrows():

    wins = row['W']
    games_played = row['G']

    win_perc = calc_win_perc(wins, games_played)

    win_perc_list.append(win_perc)

baseball_df['WP'] = win_perc_list

Iteracja z użyciem .iterrows()

%%timeit
win_perc_list = []

for i,row in baseball_df.iterrows():

    wins = row['W']
    games_played = row['G']

    win_perc = calc_win_perc(wins, games_played)
    win_perc_list.append(win_perc)

baseball_df['WP'] = win_perc_list

95.3 ms ± 3.57 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

Ćwiczenie iteracji po DataFrame z użyciem .iterrows()

Wydajny kod w Pythonie