Markov Chain Monte Carlo i dopasowywanie modeli

Bayesowska analiza danych w Pythonie

Michal Oleszak

Machine Learning Engineer

Bayesowska analiza danych w praktyce

Aproksymacja siatkowa: niepraktyczna przy wielu parametrach
Próbkowanie ze znanego rozkładu a posteriori: wymaga sprzężonych priorytetów
Markov Chain Monte Carlo (MCMC): próbkowanie z nieznanego rozkładu a posteriori!

Monte Carlo

Aproksymacja wielkości przez generowanie liczb losowych
Ze wzoru: $\pi r^2 \simeq 78.5$

Koło o promieniu 5.

Monte Carlo

Aproksymacja wielkości przez generowanie liczb losowych
Ze wzoru: $\pi r^2 \simeq 78.5$
Narysuj kwadrat 10x10 wokół koła.

Koło o promieniu 5 z zaznaczonym kwadratem.

Monte Carlo

Aproksymacja wielkości przez generowanie liczb losowych
Ze wzoru: $\pi r^2 \simeq 78.5$
Narysuj kwadrat 10x10 wokół koła.
Wylosuj 25 punktów w kwadracie.
Ile jest wewnątrz koła? $19/25=76\%$
Przybliżone pole koła: 76% * 100 = 76

Koło o promieniu 5 z zaznaczonym kwadratem i 25 losowo rozmieszczonymi punktami.

Łańcuchy Markowa

Modeluje sekwencję stanów, między którymi przechodzi się z określonym prawdopodobieństwem.

Łańcuchy Markowa

Modeluje sekwencję stanów, między którymi przechodzi się z określonym prawdopodobieństwem.

Co niedźwiedź zrobi dalej:

	polować	jeść	spać
polować	0.1	0.8	0.1
jeść	0.05	0.4	0.55
spać	0.8	0.15	0.05

Po wielu krokach prawdopodobieństwa przejść stają się takie same niezależnie od stanu początkowego.

Łańcuchy Markowa

Modeluje sekwencję stanów, między którymi przechodzi się z określonym prawdopodobieństwem.

Co niedźwiedź zrobi dalej:

	polować	jeść	spać
polować	0.1	0.8	0.1
jeść	0.05	0.4	0.55
spać	0.8	0.15	0.05

Po wielu krokach prawdopodobieństwa przejść stają się takie same niezależnie od stanu początkowego.

Co niedźwiedź zrobi w dalekiej przyszłości:

	polować	jeść	spać
polować	0.28	0.44	0.28
jeść	0.28	0.44	0.28
spać	0.28	0.44	0.28

Markov Chain Monte Carlo

Pojedyncza czerwona kropka na osi numerycznej.

Markov Chain Monte Carlo

Dwie kropki na osi numerycznej: czerwona i czarna.

Markov Chain Monte Carlo

Dwie kropki na osi numerycznej: czerwona i zielona.

Markov Chain Monte Carlo

Trzy kropki na osi numerycznej: czerwona, zielona i czarna.

Markov Chain Monte Carlo

Trzy kropki na osi numerycznej: dwie czerwone i jedna zielona.

Markov Chain Monte Carlo

Cztery kropki na osi numerycznej: dwie czerwone i dwie zielone.

Markov Chain Monte Carlo

Siedem kropek na osi numerycznej: dwie czerwone i pięć zielonych.

Markov Chain Monte Carlo

Wiele kropek na osi numerycznej: część czerwonych, większość zielonych.

Zagregowane dane reklamowe

print(ads_aggregated)

           date  clothes_banners_shown  sneakers_banners_shown  num_clicks
0    2019-01-01                     20                      18           2
1    2019-01-02                     24                      19           8
2    2019-01-03                     20                      20           5
..          ...                    ...                     ...         ...
148  2019-05-29                     24                      25           8
149  2019-05-30                     26                      27          11
150  2019-05-31                     26                      24           8

[151 rows x 4 columns]

Regresja liniowa z pyMC3

formula = "num_clicks ~ clothes_banners_shown + sneakers_banners_shown"


with pm.Model() as model:
    pm.GLM.from_formula(formula, data=ads_aggregated)

    # Print model specification
    print(model)

    # Sample posterior draws
    trace = pm.sample(draws=1000, tune=500)

Wynik funkcji print z pymc3, zawierający listę priorytetów parametrów modelu.

Ćwiczmy MCMC!

Bayesowska analiza danych w Pythonie