Практический пример: создание системы уведомлений

Введение в AWS Boto на Python

Maksim Pecherskiy

Data Engineer

Конечный продукт

Создание системы уведомлений

Настройка темы

Создайте тему
Загрузите CSV-файл со списком контактов
Создайте темы для каждого сервиса
Подпишите контакты на соответствующие темы

Создание системы уведомлений

Получение агрегированных данных

Загрузите ежемесячный отчёт
Получите количество выбоин
Получите количество уведомлений о незаконном сбросе мусора

Отправка уведомлений

Если выбоин больше 100 — отправить уведомление
Если случаев незаконного сброса мусора больше 30 — отправить уведомление

Настройка темы

Инициализация клиента SNS

sns = boto3.client('sns', 
                   region_name='us-east-1',
                   aws_access_key_id=AWS_KEY_ID, 
                   aws_secret_access_key=AWS_SECRET)

Создание тем и сохранение их ARN

trash_arn = sns.create_topic(Name="trash_notifications")['TopicArn']
streets_arn = sns.create_topic(Name="streets_notifications")['TopicArn']

Настройка темы

Подписка пользователей на темы

contacts = pd.read_csv('http://gid-staging.contacts.csv')

Подписка пользователей на темы

contacts.csv

Name	Email	Phone	Department
John Smith	[email protected]	+11224567890	trash
Fanny Mae	[email protected]	+11234597890	trash
Janessa Goldsmith	[email protected]	+11534567890	streets
Evelyn Monroe	[email protected]	+11234067890	streets
Max Pe	[email protected]	+11234517890	streets

Подписка пользователей на темы

Создание метода subscribe_user

def subscribe_user(user_row):

    if user_row['Department'] == 'trash':
        sns.subscribe(TopicArn = trash_arn, Protocol='sms', Endpoint=str(user_row['Phone']))
        sns.subscribe(TopicArn = trash_arn, Protocol='email', Endpoint=user_row['Email'])

    else:
        sns.subscribe(TopicArn = streets_arn, Protocol='sms', Endpoint=str(user_row['Phone']))
        sns.subscribe(TopicArn = streets_arn, Protocol='email', Endpoint=user_row['Email'])

Применение метода subscribe_user к каждой строке

contacts.apply(subscribe_user, axis=1)

Подписка пользователей на темы

Подписка пользователей на тему

Получение агрегированных данных

Загрузка январского отчёта в DataFrame

df = pd.read_csv('http://gid-reports.2019/feb/final_report.csv')

Получение агрегированных данных

service_name	count
Illegal Dumping	2580
Potential Missed Collection	150
Pothole	1170
Traffic Sign - Maintain	210
Traffic Signal Head Turned	60
Traffic Signal Light Out	120

Получение агрегированных данных

Задание индекса для прямого доступа к данным по названию сервиса

df.set_index('service_name', inplace=True)

Получение агрегированных данных

trash_violations_count = df.at['Illegal Dumping', 'count']
streets_violations_count = df.at['Pothole', 'count']

Отправка уведомлений

if trash_violations_count > 100:

  # Construct the message to send
    message = "Trash violations count is now {}".format(trash_violations_count)

    # Send message
    sns.publish(TopicArn = trash_arn, 
                Message = message, 
                Subject = "Trash Alert")

Отправка уведомлений

if streets_violations_count > 30:

    # Construct the message to send
    message = "Streets violations count is now {}".format(streets_violations_count)

    # Send message
    sns.publish(TopicArn = streets_arn, 
                Message = message, 
                Subject = "Streets Alert")

Итоговый результат

Давайте потренируемся!

Введение в AWS Boto на Python