Rafinarea importurilor cu interogări SQL

Ingestie eficientă a datelor cu pandas

Amany Mahfouz

Instructor

Selectarea coloanelor cu SELECT

SELECT [nume_coloane] FROM [nume_tabel];
Exemplu:
```
SELECT date, tavg 
FROM weather;
```

Clauze WHERE

Utilizați o clauză WHERE pentru a importa selectiv înregistrări

SELECT [nume_coloane] 
  FROM [nume_tabel] 
 WHERE [condiție];

Filtrarea după valori numerice

Comparați numere cu operatori matematici
- =
- > și >=
- < și <=
- <> (diferit de)
- Exemplu:
```
SELECT * 
FROM weather 
WHERE tmax > 32;
```

Filtrarea textului

Potriviți șiruri exacte cu semnul = și textul dorit
Potrivirea șirurilor este sensibilă la majuscule

Exemplu:

/* Get records about incidents in Brooklyn */
SELECT * 
FROM hpd311calls
WHERE borough = 'BROOKLYN';

SQL și pandas

# Load libraries
import pandas as pd
from sqlalchemy import create_engine

# Create database engine
engine = create_engine("sqlite:///data.db")

# Write query to get records from Brooklyn
query = """SELECT * 
             FROM hpd311calls 
            WHERE borough = 'BROOKLYN';"""

# Query the database
brooklyn_calls = pd.read_sql(query, engine)

print(brookyn_calls.borough.unique())

['BROOKLYN']

Combinarea condițiilor: AND

Clauzele WHERE cu AND returnează înregistrările care îndeplinesc toate condițiile

# Write query to get records about plumbing in the Bronx
and_query = """SELECT * 
                 FROM hpd311calls 
                WHERE borough = 'BRONX' 
                  AND complaint_type = 'PLUMBING';"""

# Get calls about plumbing issues in the Bronx            
bx_plumbing_calls = pd.read_sql(and_query, engine)

# Check record count
print(bx_plumbing_calls.shape)

(2016, 8)

Combinarea condițiilor: OR

Clauzele WHERE cu OR returnează înregistrările care îndeplinesc cel puțin o condiție

# Write query to get records about water leaks or plumbing
or_query = """SELECT * 
                FROM hpd311calls 
               WHERE complaint_type = 'WATER LEAK'
                  OR complaint_type = 'PLUMBING';"""

# Get calls that are about plumbing or water leaks            
leaks_or_plumbing = pd.read_sql(or_query, engine)

# Check record count
print(leaks_or_plumbing.shape)

(10684, 8)

Să exersăm!

Ingestie eficientă a datelor cu pandas