Що таке стримінг і чому це важливо?

Потокові дані з AWS Kinesis і Lambda

Maksim Pecherskiy

Data Engineer

Пакетна обробка vs стримінг

Пакетна

~~«Краще»~~
Великі набори даних
Складніший аналіз
Дані змінюються повільніше
Напр. щоденний звіт з продажів
Напр. прогноз продажів на наступний місяць
Напр. прогноз відтоку клієнтів

Стримінг

~~«Крутіше»~~
Простіший аналіз: агрегація / фільтрування
Окремі записи / мікропакети
Дані рухаються ШВИДКО
Напр. виявлення шахрайства
Напр. моніторинг вітротурбін
Напр. сповіщення в реальному часі

Коді та автопарк

Коді

Коді поруч із велосипедом

Автопарк

колаж транспортних засобів

Стримінг телематики

AWS Kinesis

Data Firehose

Потоки доставки

Створення клієнта Firehose

import boto3

firehose = boto3.client('firehose',

                        aws_access_key_id=AWS_KEY_ID, 
                        aws_secret_access_key=AWS_SECRET,

                        region_name='us-east-1')

Робота з потоками доставки

# Show created delivery streams
response = firehose.list_delivery_streams()

print(response['DeliveryStreamNames'])

['old-delivery-stream1', 'a-test-stream']

Видалення потоків

# Show created delivery streams
response = firehose.list_delivery_streams()

# Delete them all!
for stream_name in response['DeliveryStreamNames']:

      firehose.delete_delivery_stream(DeliveryStreamName=stream_name)

Підсумок

Пакетна обробка vs стримінг
Збір телематики з Коді
AWS Kinesis
Kinesis Firehose Delivery Streams
AWS Kinesis Data Firehose
Перегляд і видалення потоків доставки Firehose
Producer -> генератор даних
Destination -> куди надходять дані

Давайте потренуємось!

Потокові дані з AWS Kinesis і Lambda