कई ट्रांसफॉर्मेशन की रणनीतियाँ

SQL में Exploratory Data Analysis

Christina Maimone

Data Scientist

Multiple transformations

SELECT * FROM naics;

   id   |                  category                   | businesses 
--------+---------------------------------------------+------------
 111110 | Agriculture: Soybean Farming                |       4788
 111130 | Agriculture | Dry Pea and Bean Farming      |       3606
 111140 | Agriculture: Wheat Farming                  |       6393
 111150 | Agriculture - Corn Farming                  |      26469
 111160 | Agriculture: Rice Farming                   |        949
 111199 | Agriculture - All Other Grain Farming       |      15035
 111211 | Agriculture | Potato Farming                |        617
 611110 | Education - Elementary and Secondary        |     187859
 611210 | Education | Junior Colleges                 |       3961
 611310 | Education: Colleges and Universities        |      29148

CASE WHEN

-- :, -, और | के लिए अलग-अलग केस

SELECT CASE WHEN category LIKE '%: %' THEN split_part(category, ': ', 1)

            WHEN category LIKE '% - %' THEN split_part(category, ' - ', 1)

            ELSE split_part(category, ' | ', 1)

        END AS major_category,  -- परिणाम को उपनाम दें

       sum(businesses)          -- व्यवसायों की संख्या भी चुनें

  FROM naics

 GROUP BY major_category;       -- ऊपर बनाई कैटेगरी पर ग्रुप करें

 major_category |  sum   
----------------+--------
 Education      | 220968
 Agriculture    |  57857

रि-कोडिंग टेबल

मूल मान: fruit टेबल

 customer | fav_fruit 
----------+-----------
      349 | apple
      874 | Apple
      703 | apple
      667 | bannana
      622 | banana
      387 | BANANA
      300 | APPLES
      313 |  apple
      499 |  banana
      418 | apple
      841 | BANANA
      300 | APPLE
      754 | apple

मानकीकृत मान: recode टेबल

 original | standardized  
----------+--------------
 APPLES   | apple
 apple    | apple  
 Apple    | apple
 bannana  | banana
 apple    | apple
  banana  | banana
 banana   | banana
 APPLE    | apple
  apple   | apple
 BANANA   | banana

चरण 1: CREATE TEMP TABLE

CREATE TEMP TABLE recode AS

  SELECT DISTINCT fav_fruit AS original,  -- मूल, बिखरे हुए मान

         fav_fruit AS standardized        -- नए मानकीकृत मान

    FROM fruit;

प्रारंभिक टेबल

SELECT * 
  FROM recode;

 original | standardized 
----------+--------------
 APPLES   | APPLES
 apple    | apple  
 Apple    | Apple
 bannana  | bannana
 apple    | apple
  banana  |  banana
 banana   | banana
 APPLE    | APPLE
  apple   |  apple
 BANANA   | BANANA
(10 rows)

चरण 2: मान UPDATE करें

UPDATE table_name
   SET column_name = new_value
 WHERE condition;

चरण 2: मान UPDATE करें

-- सभी पंक्तियाँ: छोटे अक्षर, सिरों की white space हटाएँ

UPDATE recode 
   SET standardized=trim(lower(original));

-- कुछ पंक्तियाँ: एक वर्तनी त्रुटि ठीक करें

UPDATE recode
   SET standardized='banana'
 WHERE standardized LIKE '%nn%';

-- सभी पंक्तियाँ: कोई भी s हटा दें

UPDATE recode
   SET standardized=rtrim(standardized, 's');

परिणामी रि-कोड टेबल

SELECT * 
  FROM recode;

 original | standardized 
----------+--------------
 APPLES   | apple
 apple    | apple
 Apple    | apple
 apple    | apple
  banana  | banana
 banana   | banana
 APPLE    | apple
  apple   | apple
 BANANA   | banana
 bannana  | banana
(10 rows)

चरण 3: मूल और रि-कोड टेबल JOIN करें

सिर्फ मूल

SELECT fav_fruit, count(*) 
  FROM fruit 
 GROUP BY fav_fruit;

 fav_fruit | count 
-----------+-------
 APPLES    |     1
 apple     |     1
 apple     |     3
  banana   |     1
 BANANA    |     2
  apple    |     1
 APPLE     |     1
 bannana   |     1
 banana    |     1
 Apple     |     1
(10 rows)

रि-कोडेड मानों के साथ

SELECT standardized, 
       count(*) 
  FROM fruit
       LEFT JOIN recode
       ON fav_fruit=original
 GROUP BY standardized;

 standardized | count 
--------------+-------
 apple        |     8
 banana       |     5
(2 rows)

पुनरावलोकन

मूल मानों के साथ CREATE TEMP TABLE
मानकीकृत मान बनाने के लिए UPDATE
मूल डेटा को मानकीकृत डेटा से JOIN करें

Evanston 311 डेटा को साफ करें!

SQL में Exploratory Data Analysis