การบันทึกข้อมูลด้วย pandas

ETL และ ELT ด้วย Python

Jake Roach

Data Engineer

การบันทึกข้อมูลใน ETL pipeline

การโหลดข้อมูลไปยังไฟล์:

ช่วยให้ผู้ใช้ข้อมูลเข้าถึงข้อมูลที่แปลงแล้วได้อย่างสม่ำเสมอ
เกิดขึ้นในขั้นตอนสุดท้ายของกระบวนการ ETL รวมถึงระหว่างขั้นตอนต่าง ๆ
บันทึก "สแนปช็อต" ของข้อมูล

การโหลดข้อมูลไปยังไฟล์ CSV ด้วย pandas

เมธอด .to_csv()

import pandas as pd

# Data extraction and transformation
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]

# Load data to a .csv file
stock_data.to_csv("stock_data.csv")

เรียก .to_csv บน DataFrame
เขียน DataFrame ไปยังพาธ "stock_data.csv"

การปรับแต่งผลลัพธ์ไฟล์ CSV

stock_data.to_csv("./stock_data.csv", header=True)

รับค่า True, False หรือรายการค่าสตริง

stock_data.to_csv("./stock_data.csv", index=True)

รับค่า True หรือ False
กำหนดว่าจะเขียนคอลัมน์ index ลงในไฟล์หรือไม่

stock_data.to_csv("./stock_data.csv", sep="|")

รับค่าสตริงที่ใช้แบ่งคอลัมน์ในไฟล์
อักขระ | เป็นตัวเลือกที่นิยมใช้

มีเมธอดที่คล้ายกัน:

.to_parquet()
.to_json()
.to_sql()

¹ https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.to_csv.html

การตรวจสอบความคงทนของข้อมูล

DataFrame ถูกบันทึกลงไฟล์ CSV อย่างถูกต้องหรือไม่?

import pandas
import os  # Import the os module

# Extract, transform and load data
raw_data = pd.read_csv("raw_stock_data.csv")
stock_data = raw_data.loc[raw_data["open"] > 100, ["timestamps", "open"]]
stock_data.to_csv("stock_data.csv")

# Check that the path exists
file_exists = os.path.exists("stock_data.csv")
print(file_exists)

True

มาฝึกกันเถอะ!

ETL และ ELT ด้วย Python