Переходимо на serverless

Потокові дані з AWS Kinesis і Lambda

Maksim Pecherskiy

Data Engineer

Минулий розділ

PCXoZ.png

Потокові дані з AWS Kinesis і Lambda

vtceY.png

Потокові дані з AWS Kinesis і Lambda

Ln4Nq.png

Потокові дані з AWS Kinesis і Lambda

5JDPF.png

Потокові дані з AWS Kinesis і Lambda

iYVBt.png

Потокові дані з AWS Kinesis і Lambda

ahwx2.png

Потокові дані з AWS Kinesis і Lambda

Lambda

oKm7m.png

qBDP5.png

Потокові дані з AWS Kinesis і Lambda

Serverless

BDkHD.png

  • Сервери керуються хмарним провайдером
  • Оплата за виконання
  • Автоматичне масштабування
  • Менші ліміти пам'яті та часу виконання
  • Підходить для швидких, точкових функцій
  • Відповідь на подію через callback

Традиційні сервери

sy3ni.png

  • Сервери керуються користувачем
  • Оплата за годину роботи машини
  • Ручне масштабування
  • Вищі ліміти пам'яті та часу виконання
  • Підходить для довготривалих запусків коду
  • Тренування моделі машинного навчання
Потокові дані з AWS Kinesis і Lambda

1. Тригер

2020-07-07_22-52.png

Потокові дані з AWS Kinesis і Lambda

2. Обробник

2020-07-07_22-53.png

Потокові дані з AWS Kinesis і Lambda

3. Шар

2020-07-07_22-54.png

Потокові дані з AWS Kinesis і Lambda

4. Призначення

2020-07-07_22-55.png

Потокові дані з AWS Kinesis і Lambda

Потужна комбінація

Перетворення даних MF1mq.png

API oRmuU.png

Сповіщення Nm4UE.png

Alexa rYT3z.png

Потокові дані з AWS Kinesis і Lambda

Зразок обробника

import json

def lambda_handler(event, context):

    return {
        'statusCode': 200,
        'body': json.dumps('Hello from Lambda!')
    }
Потокові дані з AWS Kinesis і Lambda

Підсумок

UUmiG.png

Потокові дані з AWS Kinesis і Lambda

Підсумок

Перетворення даних

MF1mq.png

API

oRmuU.png

Сповіщення

Nm4UE.png

Alexa

rYT3z.png

Потокові дані з AWS Kinesis і Lambda

Підсумок

Serverless

BDkHD.png

  • Реакція на подію

Традиційний підхід

sy3ni.png

  • Тренування ML‑моделі
Потокові дані з AWS Kinesis і Lambda

Підсумок

1K8id.png

Потокові дані з AWS Kinesis і Lambda

Давайте потренуємось!

Потокові дані з AWS Kinesis і Lambda

Preparing Video For Download...