Databricks SQL से शुरुआत

Databricks कॉन्सेप्ट्स

Kevin Barlow

Data Practitioner

SQL Compute बनाम General Compute

डेटा साइंस या डेटा इंजीनियरिंग वर्कलोड्स के लिए कंप्यूट क्लस्टर डिजाइन करना...

import pyspark.sql.functions as F

spark_df = (spark
            .read
            .table('user_table'))

spark_df = (spark_df
            .withColumn('score', 
                        F.flatten(...))
           )

SQL वर्कलोड्स के लिए कंप्यूट डिजाइन करने से मूलतः भिन्न है

SELECT *
FROM user_table u
LEFT JOIN product_use p
    ON u.userId = p.userId
WHERE country = 'USA'
AND utilization >= 0.6

SQL Warehouse

SQL Warehouse UI

SQL Warehouse

SQL Warehouse कॉन्फ़िगरेशन विकल्प

क्लस्टर का नाम
क्लस्टर साइज (S, M, L, आदि)
स्केलिंग व्यवहार

SQL Warehouse UI - Cluster Size

SQL Warehouse

SQL Warehouse कॉन्फ़िगरेशन विकल्प

क्लस्टर का नाम
क्लस्टर साइज (S, M, L, आदि)
स्केलिंग व्यवहार
क्लस्टर प्रकार

SQL Warehouse UI - Cluster Type

SQL Warehouse प्रकार

अलग-अलग प्रकार अलग लाभ देते हैं

Classic

सबसे बेसिक SQL compute
कस्टमर क्लाउड में

Pro

Classic से अधिक एडवांस्ड फीचर्स
कस्टमर क्लाउड में

Serverless

कटिंग-एज फीचर्स
Databricks क्लाउड में
सबसे किफायती परफॉर्मेंस

SQL Editor

आम SQL कमांड्स

COPY INTO

रॉ डेटा लेकर Delta में डालें
ETL का Extract भाग

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

CREATE <entity> AS

Table या View बनाएँ
ETL का Transform भाग

CREATE TABLE events
  USING DELTA
  AS (
      SELECT *
    FROM raw_events
    WHERE ...
  )

अभ्यास करते हैं!

Databricks कॉन्सेप्ट्स