Очистка текстовых данных
Преобразование данных с помощью Polars
Liam Brannigan
Data Scientist & Polars Contributor
Ваш инструктор
$$
$$
- Liam Brannigan, ведущий специалист по данным
- Специалист по машинному обучению и Data Engineering
- Контрибьютор Polars
Движок трансформаций
Подходит ли вам этот курс?
$$
- Создание DataFrame в Polars
$$
- Использование выражений Polars
$$
- Группировка с агрегацией
Глава 1
Глава 2
Глава 3
Глава 4
Знакомство с набором данных
import polars as pl
ratings = pl.read_csv("restaurant_ratings.csv")
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | f64 | f64 |
|------------------|--------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5.0 | 55.0 |
| Bang Bang Burger | Forest Rd. | restaurant | 4.0 | 55.0 |
| Costa Coffee | City Point | café | 5.0 | 41.0 |
| Costa Coffee | The Moorgate | takeaway | 5.0 | 0.0 |
| The Queens Head | Denman St. | bar | 5.0 | 187.0 |
Приложение для выбора ресторана
shape: (3, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | f64 | f64 |
|------------------|--------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5.0 | 55.0 |
| Bang Bang Burger | Forest Rd. | restaurant | 4.0 | 55.0 |
| Costa Coffee | City Point | café | 5.0 | 41.0 |
- Удалить пробелы
- Преобразовать столбцы rating и capacity
- Создать столбец с уникальным идентификатором
Приведение типов с помощью выражения
ratings.with_columns(
)
Приведение типов с помощью выражения
ratings.with_columns(
pl.col("rating").cast(pl.Int64)
)
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | i64 | f64 |
|------------------|--------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5 | 55.0 |
| Bang Bang Burger | Forest Rd. | restaurant | 4 | 55.0 |
| Costa Coffee | City Point | café | 5 | 41.0 |
| Costa Coffee | The Moorgate | takeaway | 5 | 0.0 |
| The Queens Head | Denman St. | bar | 5 | 187.0 |
Приведение типов нескольких столбцов
ratings.cast( )
Приведение типов нескольких столбцов
ratings.cast({ })
Приведение типов нескольких столбцов
ratings.cast({pl.Float64: pl.Int64})
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | i64 | i64 |
|------------------|--------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5 | 55 |
| Bang Bang Burger | Forest Rd. | restaurant | 4 | 55 |
| Costa Coffee | City Point | café | 5 | 41 |
| Costa Coffee | The Moorgate | takeaway | 5 | 0 |
| The Queens Head | Denman St. | bar | 5 | 187 |
Очистка текстовых данных
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | i64 | i64 |
|------------------|-----------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5 | 55 |
| Bang Bang Burger | Forest Rd. | restaurant | 4 | 55 |
| Costa Coffee | City Point | café | 5 | 41 |
| Costa Coffee | The Moorgate | takeaway | 5 | 0 |
| The Queens Head | Denman St. | bar | 5 | 187 |
Очистка текстовых данных
.str.contains().str.strip_chars().str.strip_chars_start().str.to_lowercase()- ...
Очистка текстовых данных
.str.contains().str.strip_chars().str.strip_chars_start().str.to_lowercase()- ...
1 https://docs.pola.rs/api/python/stable/reference/expressions/string.html
Очистка текстовых данных
.str.contains().str.strip_chars().str.strip_chars_start().str.to_lowercase()- ...
1 https://docs.pola.rs/api/python/stable/reference/expressions/string.html
Очистка текстовых данных
ratings.with_columns(
)
Очистка текстовых данных
ratings.with_columns(
pl.col("business")
)
Очистка текстовых данных
ratings.with_columns(
pl.col("business").str.strip_chars_start()
)
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | i64 | i64 |
|------------------|--------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5 | 55 |
| Bang Bang Burger | Forest Rd. | restaurant | 4 | 55 |
| Costa Coffee | City Point | café | 5 | 41 |
| Costa Coffee | The Moorgate | takeaway | 5 | 0 |
| The Queens Head | Denman St. | bar | 5 | 187 |
Объединение текстовых данных
shape: (5, 5)
| business | location | type | rating | capacity |
| --- | --- | --- | --- | --- |
| str | str | str | i64 | i64 |
|------------------|-----------------|------------|--------|----------|
| 7burgers | Wakey Wakey | restaurant | 5 | 55 |
| Bang Bang Burger | Forest Rd. | restaurant | 4 | 55 |
| Costa Coffee | City Point | café | 5 | 41 |
| Costa Coffee | The Moorgate | takeaway | 5 | 0 |
| The Queens Head | Denman St. | bar | 5 | 187 |
Объединение текстовых данных
ratings.with_columns(
)
Объединение текстовых данных
ratings.with_columns(
pl.concat_str(
)
Объединение текстовых данных
ratings.with_columns(
pl.concat_str("business", "location"
)
Объединение текстовых данных
ratings.with_columns(
pl.concat_str("business", "location", separator=":")
)
Объединение текстовых данных
ratings.with_columns(
pl.concat_str("business", "location", separator=":").alias("id")
)
shape: (5, 5)
| business | location | type | ... | id |
| --- | --- | --- | --- | --- |
| str | str | str | ... | str |
|------------------|--------------|------------|-----|-------------------------------|
| 7burgers | Wakey Wakey | restaurant | ... | 7burgers:Wakey Wakey |
| Bang Bang Burger | Forest Rd. | restaurant | ... | Bang Bang Burger:Forest Rd. |
| Costa Coffee | City Point | café | ... | Costa Coffee:City Point |
| Costa Coffee | The Moorgate | takeaway | ... | Costa Coffee:The Moorgate |
| The Queens Head | Denman St. | bar | ... | The Queens Head:Denman St. |
Давайте потренируемся!
Преобразование данных с помощью Polars
