दैनिक जॉब शेड्यूल करना

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

अब तक आपने क्या किया है

 

  • extract_course_data() और extract_rating_data() से एक्सट्रैक्ट करें
  • transform_fill_programming_language() से NA साफ करें
  • प्रति कोर्स औसत रेटिंग: transform_avg_rating()
  • योग्य user–course id पेयर्स निकालें: transform_courses_to_recommend()
  • रिकमेंडेशन 계산 करें: transform_recommendations()
Introduction to Data Engineering

Postgres में लोड करना

 

  • इन कैलकुलेशंस को data products में उपयोग करें
  • रोज़ाना अपडेट करें
  • उदाहरण: रिकमेंडेशन वाले ईमेल भेजना
Introduction to Data Engineering

लोडिंग फेज

 

recommendations.to_sql(
    "recommendations",
    db_engine,
    if_exists="append",
)
Introduction to Data Engineering
def etl(db_engines):
    # Extract the data
    courses = extract_course_data(db_engines)
    rating = extract_rating_data(db_engines)
    # Clean up courses data
    courses = transform_fill_programming_language(courses)

# Get the average course ratings avg_course_rating = transform_avg_rating(rating)
# Get eligible user and course id pairs courses_to_recommend = transform_courses_to_recommend( rating, courses, )
# Calculate the recommendations recommendations = transform_recommendations( avg_course_rating, courses_to_recommend, )
# Load the recommendations into the database load_to_dwh(recommendations, db_engine))
Introduction to Data Engineering

DAG बनाना

from airflow.models import DAG
from airflow.operators.python_operator import PythonOperator

dag = DAG(dag_id="recommendations",
          scheduled_interval="0 0 * * *")

task_recommendations = PythonOperator( task_id="recommendations_task", python_callable=etl, )
Introduction to Data Engineering

अभ्यास करते हैं!

Introduction to Data Engineering

Preparing Video For Download...