Переход на бессерверные технологии

Потоковая обработка данных с AWS Kinesis и Lambda

Maksim Pecherskiy

Data Engineer

Прошлая глава

PCXoZ.png

Потоковая обработка данных с AWS Kinesis и Lambda

vtceY.png

Потоковая обработка данных с AWS Kinesis и Lambda

Ln4Nq.png

Потоковая обработка данных с AWS Kinesis и Lambda

5JDPF.png

Потоковая обработка данных с AWS Kinesis и Lambda

iYVBt.png

Потоковая обработка данных с AWS Kinesis и Lambda

ahwx2.png

Потоковая обработка данных с AWS Kinesis и Lambda

Lambda

oKm7m.png

qBDP5.png

Потоковая обработка данных с AWS Kinesis и Lambda

Бессерверные технологии

BDkHD.png

  • Серверы управляются облачным провайдером
  • Оплата за каждое выполнение
  • Автоматическое масштабирование
  • Ограничения по памяти и времени выполнения
  • Идеально для быстрых, точечных функций
  • Реакция на событие с помощью обратного вызова

Серверы (традиционные)

sy3ni.png

  • Серверы управляются пользователем
  • Оплата за каждый час работы машины
  • Масштабирование вручную
  • Больше памяти и времени выполнения
  • Идеально для длительных вычислений
  • Обучение модели машинного обучения
Потоковая обработка данных с AWS Kinesis и Lambda

1. Триггер

2020-07-07_22-52.png

Потоковая обработка данных с AWS Kinesis и Lambda

2. Обработчик

2020-07-07_22-53.png

Потоковая обработка данных с AWS Kinesis и Lambda

3. Слой

2020-07-07_22-54.png

Потоковая обработка данных с AWS Kinesis и Lambda

4. Назначение

2020-07-07_22-55.png

Потоковая обработка данных с AWS Kinesis и Lambda

Мощное сочетание

Трансформация данных MF1mq.png

API oRmuU.png

Оповещения Nm4UE.png

Alexa rYT3z.png

Потоковая обработка данных с AWS Kinesis и Lambda

Пример обработчика

import json

def lambda_handler(event, context):

    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }
Потоковая обработка данных с AWS Kinesis и Lambda

Повторение

UUmiG.png

Потоковая обработка данных с AWS Kinesis и Lambda

Повторение

Трансформация данных

MF1mq.png

API

oRmuU.png

Оповещения

Nm4UE.png

Alexa

rYT3z.png

Потоковая обработка данных с AWS Kinesis и Lambda

Повторение

Бессерверные технологии

BDkHD.png

  • Реакция на событие

Традиционные серверы

sy3ni.png

  • Обучение модели машинного обучения
Потоковая обработка данных с AWS Kinesis и Lambda

Повторение

1K8id.png

Потоковая обработка данных с AWS Kinesis и Lambda

Давайте потренируемся!

Потоковая обработка данных с AWS Kinesis и Lambda

Preparing Video For Download...