Apache Airflow परिचय
Python में Apache Airflow परिचय
Mike Metzger
Data Engineer
Workflow क्या है?
- Workflow - किसी दिए गए डेटा इंजीनियरिंग प्रोसेस को पूरा करने के चरणों का सेट
- उदाहरण: फ़ाइलें डाउनलोड करें, डेटा कॉपी करें, जानकारी फ़िल्टर करें, और डेटाबेस में लिखें
Airflow क्या है?
Airflow - वर्कफ़्लो ऑर्केस्ट्रेट करने का प्लेटफ़ॉर्म:
- Create
- Schedule
- Monitor
Airflow क्या है?
- किसी भी भाषा के प्रोग्राम चला सकता है, पर वर्कफ़्लो Python में लिखे जाते हैं
- वर्कफ़्लो को Dags के रूप में लागू करता है
- वेब इंटरफ़ेस, कोड, कमांड-लाइन, या REST API से एक्सेस करें
- ETL पाइपलाइन, ML वर्कफ़्लो, ऑटोमेशन आदि के लिए उपयोग होता है
Dags का त्वरित परिचय
Dag - एक मॉडल जो वर्कफ़्लो चलाने के लिए ज़रूरी सब कुछ दर्शाता है.
- टास्क और उनकी निर्भरताओं से बना होता है
- नाम, ईमेल, मालिक आदि विवरण से बनाया जाता है
Airflow के कॉम्पोनेंट्स
Airflow UI में वर्कफ़्लो चलाना
Airflow UI में वर्कफ़्लो चलाना
Airflow UI में वर्कफ़्लो चलाना
Airflow UI में वर्कफ़्लो चलाना
Airflow UI में वर्कफ़्लो चलाना
