Veri Toplama

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et

Luis Silva

Solution Architect - Data & AI

Veriyi ne zaman toplamalısınız?

Özetler üretmek için toplama fonksiyonlarıyla satır sayısını azaltın.
- Sayma
- Toplama
- Ortalama
- Maksimum
- Minimum

Veriyi ne zaman toplamalısınız?

Özetler üretmek için toplama fonksiyonlarıyla satır sayısını azaltın.
- Sayma
- Toplama
- Ortalama
- Maksimum
- Minimum

Eyalet başına satış siparişlerinin, sipariş sayısı ve toplam satış tutarıyla yeni bir tabloda toplanmış hali

Veri toplamayı uygulamak için araçlar

Üç aracı temsil eden ikonlar: SQL, Spark ve Dataflows

SQL ile veri toplama

Yaygın SQL toplama fonksiyonları:
- SUM()
- COUNT()
- AVG()
- MIN()
- MAX()
Genelde GROUP BY ile kullanılır
İstatistiksel fonksiyonlar
- STDEV()
- VAR()

SELECT
  <unaggregated columns>,
  function(<aggregated column>)
FROM 
  <table>
GROUP BY 
  <unaggregated columns>;

SQL ile veri toplama

SELECT 
  [State], 
  COUNT([Order_ID]) AS [Num Orders], 
  SUM([Order_Amount]) AS [Total Amount]
FROM 
  [tbl_Orders]
GROUP BY 
  [State]

Eyalet başına satış siparişlerinin, sipariş sayısı ve toplam satış tutarıyla yeni bir tabloda toplanmış hali

Spark ile veri toplama

Yaygın PySpark toplama fonksiyonları:
- sum()
- count()
- avg()
- min() ve max()
- first() ve last()
İstatistiksel fonksiyonlar
- stdev()
- variance()
groupBy() ve agg() ile kullanılır

df.groupBy(<unaggregated columns>)
.agg(function(<aggregated column>))

Spark ile veri toplama

Eyalet başına satış siparişlerinin, sipariş sayısı ve toplam satış tutarıyla yeni bir tabloda toplanmış hali

from pyspark.sql.functions import sum

df.groupBy("state").agg(count("order_id"), sum("order_amount")).show()

Spark ile veri toplama

Toplama fonksiyonları, kodunuzun başında pyspark.sql.functions içinden içe aktarılmalıdır.

#----- Bir veya birden çok fonksiyon içe aktar:
from pyspark.sql.functions import sum, avg, count, min, max

#----- Tüm SQL fonksiyonlarını içe aktar:
from pyspark.sql.functions import * 

#----- Tüm SQL fonksiyonlarını bir takma adla içe aktar:
import pyspark.sql.functions as F
# sum çağır: F.sum()

Dataflows ile veri toplama

Gruplandır dönüşümü
- Toplam
- Ortalama
- Medyan
- Min
- Maks
- Yüzdelik
- Satır sayısı

Dataflows'ta Gruplandır iletişim kutusunun ekran görüntüsü

Dataflows ile veri toplama

Bir Dataflow'da Gruplandır iletişim kutusunun ekran görüntüsü: eyalete göre gruplandırma ve iki toplama (satır sayısı ve order amount sütununun toplamı) belirtilmiş

Eyalet başına satış siparişlerinin, sipariş sayısı ve toplam satış tutarıyla yeni bir tabloda toplanmış hali

Ayo berlatih!

Microsoft Fabric ile Verileri Dönüştür ve Analiz Et