Fallstudie: Bygga ett notifieringssystem

Introduktion till AWS Boto i Python

Maksim Pecherskiy

Data Engineer

Slutprodukt

Bygga notifieringssystemet

Konfigurera ämne

Skapa ämnet
Ladda ned kontaktlistan som csv
Skapa ämnen för varje tjänst
Prenumerera kontakterna på respektive ämne

Bygga notifieringssystemet

Hämta aggregerade siffror

Ladda ned den månatliga rapporten
Räkna antalet väggropar
Räkna antalet anmälningar om otillåten dumpning

Skicka varningar

Om väggropar överstiger 100, skicka varning
Om otillåten dumpning överstiger 30, skicka varning

Konfigurera ämne

Initiera SNS-klient

sns = boto3.client('sns', 
                   region_name='us-east-1',
                   aws_access_key_id=AWS_KEY_ID, 
                   aws_secret_access_key=AWS_SECRET)

Skapa ämnen och lagra deras ARN:er

trash_arn = sns.create_topic(Name="trash_notifications")['TopicArn']
streets_arn = sns.create_topic(Name="streets_notifications")['TopicArn']

Konfigurera ämne

Prenumerera användare på ämnen

contacts = pd.read_csv('http://gid-staging.contacts.csv')

Prenumerera användare på ämnen

contacts.csv

Name	Email	Phone	Department
John Smith	[email protected]	+11224567890	trash
Fanny Mae	[email protected]	+11234597890	trash
Janessa Goldsmith	[email protected]	+11534567890	streets
Evelyn Monroe	[email protected]	+11234067890	streets
Max Pe	[email protected]	+11234517890	streets

Prenumerera användare på ämnen

Skapa metoden subscribe_user

def subscribe_user(user_row):

    if user_row['Department'] == 'trash':
        sns.subscribe(TopicArn = trash_arn, Protocol='sms', Endpoint=str(user_row['Phone']))
        sns.subscribe(TopicArn = trash_arn, Protocol='email', Endpoint=user_row['Email'])

    else:
        sns.subscribe(TopicArn = streets_arn, Protocol='sms', Endpoint=str(user_row['Phone']))
        sns.subscribe(TopicArn = streets_arn, Protocol='email', Endpoint=user_row['Email'])

Tillämpa subscribe_user på varje rad

contacts.apply(subscribe_user, axis=1)

Prenumerera användare på ämnen

Prenumerera användare på ämne

Hämta aggregerade siffror

Läs in januarirapporten i en DataFrame

df = pd.read_csv('http://gid-reports.2019/feb/final_report.csv')

Hämta aggregerade siffror

service_name	count
Illegal Dumping	2580
Potential Missed Collection	150
Pothole	1170
Traffic Sign - Maintain	210
Traffic Signal Head Turned	60
Traffic Signal Light Out	120

Hämta aggregerade siffror

Sätt index för direkt åtkomst via tjänstnamn

df.set_index('service_name', inplace=True)

Hämta de aggregerade siffrorna

trash_violations_count = df.at['Illegal Dumping', 'count']
streets_violations_count = df.at['Pothole', 'count']

Skicka varningar

if trash_violations_count > 100:

  # Construct the message to send
    message = "Trash violations count is now {}".format(trash_violations_count)

    # Send message
    sns.publish(TopicArn = trash_arn, 
                Message = message, 
                Subject = "Trash Alert")

Skicka varningar

if streets_violations_count > 30:

    # Construct the message to send
    message = "Streets violations count is now {}".format(streets_violations_count)

    # Send message
    sns.publish(TopicArn = streets_arn, 
                Message = message, 
                Subject = "Streets Alert")

Slutresultat

Nu kör vi en övning!

Introduktion till AWS Boto i Python