पैरेलल कंप्यूटिंग क्या है

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

पैरेलल कंप्यूटिंग के पीछे का विचार

आधुनिक डेटा प्रोसेसिंग टूल्स का आधार

मेमोरी
प्रोसेसिंग पावर

विचार

टास्क को सबटास्क में बाँटें
सबटास्क कई कंप्यूटरों में बाँटें
मिलकर टास्क पूरा करें

टास्क को सबटास्क में बाँटने का डायग्राम

दर्जी की दुकान

दर्जी की दुकान दर्शाता डायग्राम

दर्जी की दुकान चलाना

लक्ष्य: 100 शर्ट्स

श्रेष्ठ दर्जी: 1 शर्ट / 20 मिनट
बाकी दर्जी: 1 शर्ट / 1 घंटा

कई दर्जी मिलकर > अकेला श्रेष्ठ दर्जी

पैरेलल कंप्यूटिंग के फायदे

प्रोसेसिंग पावर
मेमोरी: डेटासेट को पार्टिशन करें

RAM मेमोरी चिप: RAM मेमोरी चिप की इमेज

पैरेलल कंप्यूटिंग के जोखिम

कम्युनिकेशन से होने वाला ओवरहेड

टास्क बड़ा होना चाहिए
कई प्रोसेसिंग यूनिट चाहिए

पैरेलल स्लोडाउन: पैरेलल स्लोडाउन दिखाता प्लॉट

एक उदाहरण

ओलंपिक इवेंट्स के उदाहरण का डायग्राम

multiprocessing.Pool

from multiprocessing import Pool


def take_mean_age(year_and_group):
    year, group = year_and_group
    return pd.DataFrame({"Age": group["Age"].mean()}, index=[year])



with Pool(4) as p:
    results = p.map(take_mean_age, athlete_events.groupby("Year"))



result_df = pd.concat(results)

dask

import dask.dataframe as dd


# Partition dataframe into 4
athlete_events_dask = dd.from_pandas(athlete_events, npartitions = 4)


# Run parallel computations on each partition
result_df = athlete_events_dask.groupby('Year').Age.mean().compute()

अभ्यास करते हैं!

Introduction to Data Engineering