कोर्स रिकैप

शेल में डेटा प्रोसेसिंग

Susan Sun

Data Person

कमांड लाइन पर डेटा डाउनलोडिंग

• curl और wget से डेटा फाइलें कैसे डाउनलोड करें
• डॉक्यूमेंटेशन, मैनुअल (जैसे man curl, wget --help)
• एक साथ कई फाइलें डाउनलोड करें (जैसे wget --limit-rate=200k -i url_list.txt)

कमांड लाइन पर डेटा प्रोसेसिंग

• कमांड लाइन डेटा टूलकिट परिचय: csvkit
• in2csv से फाइलें csv में कन्वर्ट करें
• csvlook, csvstat से प्रिंट प्रीव्यू
• csvcut, csvgrep से डेटा फ़िल्टर करें
• csvstack से कई फाइलें जोड़ें

कमांड लाइन पर डेटाबेस मैनिपुलेशन

• sql2csv, csvsql से डेटाबेस मैनिपुलेशन
• csvkit से एडवांस्ड SQL-जैसे ETL कमांड

कमांड लाइन पर डेटा पाइपलाइन बनाना

• कमांड लाइन पर Python चलाएँ
• pip से Python पैकेज मैनेज करें
• cron से Python मॉडल और बिल्ड पाइपलाइन ऑटोमेट करें

धन्यवाद! फिर मिलेंगे!

शेल में डेटा प्रोसेसिंग