Zpřesnění importů pomocí SQL dotazů

Streamlined Data Ingestion with pandas

Amany Mahfouz

Instructor

Výběr sloupců pomocí SELECT

SELECT [column names] FROM [table name];
Příklad:
```
SELECT date, tavg 
FROM weather;
```

Klauzule WHERE

Klauzule WHERE umožňuje selektivní import záznamů

SELECT [column_names] 
  FROM [table_name] 
 WHERE [condition];

Filtrování podle čísel

Čísla lze porovnávat pomocí matematických operátorů
- =
- > a >=
- < a <=
- <> (není rovno)
- Příklad:
```
SELECT * 
FROM weather 
WHERE tmax > 32;
```

Filtrování textu

Přesné řetězce lze porovnávat operátorem = a hledaným textem
Porovnávání řetězců rozlišuje malá a velká písmena

Příklad:

/* Get records about incidents in Brooklyn */
SELECT * 
FROM hpd311calls
WHERE borough = 'BROOKLYN';

SQL a pandas

# Load libraries
import pandas as pd
from sqlalchemy import create_engine

# Create database engine
engine = create_engine("sqlite:///data.db")

# Write query to get records from Brooklyn
query = """SELECT * 
             FROM hpd311calls 
            WHERE borough = 'BROOKLYN';"""

# Query the database
brooklyn_calls = pd.read_sql(query, engine)

print(brookyn_calls.borough.unique())

['BROOKLYN']

Kombinování podmínek: AND

Klauzule WHERE s AND vrací záznamy splňující všechny podmínky

# Write query to get records about plumbing in the Bronx
and_query = """SELECT * 
                 FROM hpd311calls 
                WHERE borough = 'BRONX' 
                  AND complaint_type = 'PLUMBING';"""

# Get calls about plumbing issues in the Bronx            
bx_plumbing_calls = pd.read_sql(and_query, engine)

# Check record count
print(bx_plumbing_calls.shape)

(2016, 8)

Kombinování podmínek: OR

Klauzule WHERE s OR vrací záznamy splňující alespoň jednu podmínku

# Write query to get records about water leaks or plumbing
or_query = """SELECT * 
                FROM hpd311calls 
               WHERE complaint_type = 'WATER LEAK'
                  OR complaint_type = 'PLUMBING';"""

# Get calls that are about plumbing or water leaks            
leaks_or_plumbing = pd.read_sql(or_query, engine)

# Check record count
print(leaks_or_plumbing.shape)

(10684, 8)

Pojďme si procvičit!

Streamlined Data Ingestion with pandas