Уточнение импорта с помощью SQL-запросов

Эффективный импорт данных с pandas

Amany Mahfouz

Instructor

Выбор столбцов с SELECT

SELECT [column names] FROM [table name];
Пример:
```
SELECT date, tavg 
FROM weather;
```

Условие WHERE

Используйте WHERE для выборочного импорта записей
```
SELECT [column_names] 
  FROM [table_name] 
 WHERE [condition];
```

Фильтрация по числам

Сравнение чисел с помощью математических операторов
- =
- > и >=
- < и <=
- <> (не равно)
- Пример:
```
SELECT * 
FROM weather 
WHERE tmax > 32;
```

Фильтрация текста

Точное совпадение строк задаётся знаком = и искомым текстом
Сравнение строк чувствительно к регистру

Пример:

/* Get records about incidents in Brooklyn */
SELECT * 
FROM hpd311calls
WHERE borough = 'BROOKLYN';

SQL и pandas

# Load libraries
import pandas as pd
from sqlalchemy import create_engine

# Create database engine
engine = create_engine("sqlite:///data.db")

# Write query to get records from Brooklyn
query = """SELECT * 
             FROM hpd311calls 
            WHERE borough = 'BROOKLYN';"""

# Query the database
brooklyn_calls = pd.read_sql(query, engine)

print(brookyn_calls.borough.unique())

['BROOKLYN']

Объединение условий: AND

WHERE с AND возвращает записи, удовлетворяющие всем условиям

# Write query to get records about plumbing in the Bronx
and_query = """SELECT * 
                 FROM hpd311calls 
                WHERE borough = 'BRONX' 
                  AND complaint_type = 'PLUMBING';"""

# Get calls about plumbing issues in the Bronx            
bx_plumbing_calls = pd.read_sql(and_query, engine)

# Check record count
print(bx_plumbing_calls.shape)

(2016, 8)

Объединение условий: OR

WHERE с OR возвращает записи, удовлетворяющие хотя бы одному условию

# Write query to get records about water leaks or plumbing
or_query = """SELECT * 
                FROM hpd311calls 
               WHERE complaint_type = 'WATER LEAK'
                  OR complaint_type = 'PLUMBING';"""

# Get calls that are about plumbing or water leaks            
leaks_or_plumbing = pd.read_sql(or_query, engine)

# Check record count
print(leaks_or_plumbing.shape)

(10684, 8)

Давайте потренируемся!

Эффективный импорт данных с pandas