Przechowywanie wierszowe vs. kolumnowe

Koncepcje hurtowni danych

Aaren Stubberfield

Data Scientist

Dlaczego to jest ważne?

Optymalizacja zapytań pod kątem szybkości
Format kolumnowy jest najlepszy dla obciążeń analitycznych w hurtowniach danych

Podstawy przechowywania danych

Komputery przechowują dane w blokach.
Podczas pobierania danych odczytywane są wymagane bloki.
Odczyt mniejszej liczby bloków zwiększa ogólną szybkość procesu.

Symboliczny obraz dysku twardego z wieloma blokami pamięci

Przykład tabeli zdrowotnej

CDC (Centers for Disease Control and Prevention)
Dane o zachorowaniach na grypę według grup wiekowych w kilku sezonach

SEZON	GRUPA WIEKOWA	ODSETEK HOSPITALIZACJI
2019	0-17 lat	13,9%
2019	18-49 lat	22,5%
2019	50+ lat	63,7%
2020	0-17 lat	3,9%
2020	18-49 lat	18,1%
2020	50+ lat	78%
2021	0-17 lat	15,6%
2021	18-49 lat	23,3%
2021	50+ lat	61,1%

Przykład przechowywania wierszowego

SEZON	GRUPA WIEKOWA	ODSETEK HOSPITALIZACJI
2019	0-17 lat	13,9%
*2019*	*18-49 lat*	*22,5%*
2019	50+ lat	63,7%
2020	0-17 lat	3,9%
2020	18-49 lat	18,1%
2020	50+ lat	78%
2021	0-17 lat	15,6%
2021	18-49 lat	23,3%
2021	50+ lat	61,1%

Symboliczny obraz dysku twardego z wieloma blokami, w każdym przechowywany jest wiersz

Przykład przechowywania kolumnowego

SEZON	GRUPA WIEKOWA	ODSETEK HOSPITALIZACJI
2019	*0-17 lat*	13,9%
2019	*18-49 lat*	22,5%
2019	*50+ lat*	63,7%
2020	*0-17 lat*	3,9%
2020	*18-49 lat*	18,1%
2020	*50+ lat*	78%
2021	*0-17 lat*	15,6%
2021	*18-49 lat*	23,3%
2021	*50+ lat*	61,1%

Symboliczny obraz dysku twardego z wieloma blokami, w każdym przechowywana jest kolumna

Podsumowanie

Przechowywanie wierszowe

Dane wierszy przechowywane razem w blokach
Idealne do obciążeń transakcyjnych

Przechowywanie kolumnowe

Dane kolumn przechowywane razem w blokach
Idealne do obciążeń analitycznych
Lepsza kompresja danych

Czas na ćwiczenia!

Koncepcje hurtowni danych

Preparing Video For Download...