Opisywanie rozkładu danych za pomocą kwantyli

Importowanie i zarządzanie danymi finansowymi w Pythonie

Stefan Jansen

Instructor

Opisywanie rozkładów danych

Pierwsze spojrzenie: tendencja centralna i odchylenie standardowe
Jak uzyskać bardziej szczegółowy obraz rozkładu?
Obliczanie i wizualizacja kwantyli

Rozproszenie danych: kwantyle

Kwantyle: grupy z równą liczbą obserwacji
- Kwartyle: 4 grupy, po 25% danych
- Decyle: 10 grup, po 10% danych
- Rozstęp międzykwartylowy: 3. kwartyl − 1. kwartyl

Kwantyle w pandas

market_cap = nasdaq['Market Capitalization'].div(10**6) 
median = market_cap.quantile(.5)

median == market_cap.median()

True

quantiles = market_cap.quantile([.25, .75])

0.25     43.375930
0.75    969.905207

quantiles[.75] - quantiles[.25] # Interquartile Range

926.5292771575

Kwantyle w pandas i numpy

deciles = np.arange(start=.1, stop=.91, step=.1)
deciles

array([ 0.1,  0.2,  0.3,  0.4,  ..., 0.7,  0.8,  0.9])

market_cap.quantile(deciles)

0.1       4.884565
0.2      26.993382
0.3      65.714547
0.4     124.320644
0.5     225.968428
0.6     402.469678
...

Wizualizacja kwantyli na wykresie słupkowym

title = 'NASDAQ Market Capitalization (million USD)'
market_cap.quantile(deciles).plot(kind='bar', title=title)
plt.tight_layout(); plt.show()

Wykres słupkowy kwantyli kapitalizacji rynkowej NASDAQ

Wszystkie statystyki naraz

market_cap.describe()

count      3167.000000
mean       3180.712621
std       25471.038707
min           0.000000
25%          43.375930  # 1st quantile
50%         225.968428  # Median
75%         969.905207  # 3rd quantile
max      740024.467000
Name: Market Capitalization

Wszystkie statystyki naraz

market_cap.describe(percentiles=np.arange(.1, .91, .1))

count      3167.000000
mean       3180.712621
std       25471.038707
min           0.000000
10%           4.884565
20%          26.993382
30%          65.714547
40%         124.320644
50%         225.968428
60%         402.469678
70%         723.163197
80%        1441.071134
...

Czas na ćwiczenia!

Importowanie i zarządzanie danymi finansowymi w Pythonie