สรุปเนื้อหาคอร์ส

การประมวลผลข้อมูลบน Command Line

Susan Sun

Data Person

การดาวน์โหลดข้อมูลบน Command Line

• การดาวน์โหลดไฟล์ข้อมูลด้วย curl และ wget
• เอกสารและคู่มือการใช้งาน (เช่น man curl, wget --help)
• การดาวน์โหลดหลายไฟล์พร้อมกัน (เช่น wget --limit-rate=200k -i url_list.txt)

การประมวลผลข้อมูลบน Command Line

• แนะนำชุดเครื่องมือจัดการข้อมูลบน Command Line: csvkit
• แปลงไฟล์เป็น CSV ด้วย in2csv
• ดูตัวอย่างข้อมูลด้วย csvlook, csvstat
• กรองข้อมูลด้วย csvcut, csvgrep
• รวมไฟล์ข้อมูลหลายไฟล์ด้วย csvstack

การจัดการฐานข้อมูลบน Command Line

• จัดการฐานข้อมูลด้วย sql2csv, csvsql
• คำสั่ง ETL แบบ SQL ขั้นสูงด้วย csvkit

การสร้าง Data Pipeline บน Command Line

• รัน Python บน Command Line
• จัดการแพ็กเกจ Python ด้วย pip
• สร้าง pipeline อัตโนมัติด้วย cron

ขอบคุณและสวัสดี!

การประมวลผลข้อมูลบน Command Line