S3 углублённо: хранение, версионирование и репликация

Использование хранилищ данных в AWS

Dunieski Otano

AWS Solutions Architect

Счёт за хранение на $3 млн

  • Компания хранит 100 ТБ логов в S3 Standard
  • Файлы запрашиваются один раз, затем не используются
  • Годовые расходы: $2 760 000
  • С политикой жизненного цикла: $48 000 (экономия 98%)

стоимость

Использование хранилищ данных в AWS

Классы хранения S3

  • Standard: Частый доступ, высокая стоимость, мгновенное извлечение
  • Standard-IA: Редкий доступ, ~50% дешевле, плата за извлечение
  • Glacier Flexible: Архив, ~80% дешевле, извлечение за минуты–часы
  • Glacier Deep Archive: Долгосрочное хранение, минимальная стоимость, извлечение за 12 часов

классы

Использование хранилищ данных в AWS

Политики жизненного цикла: автоматизация переходов

  • Правила на основе возраста объекта
  • Автоматические переходы между классами
  • Автоматическое удаление по истечении срока
  • Применение к префиксам для разных политик

политики

Использование хранилищ данных в AWS

Версионирование S3: защита от удаления

  • Версионирование: хранение нескольких версий одного объекта
  • Защита от случайного удаления и перезаписи
  • У каждой версии уникальный идентификатор
  • Восстановление предыдущих версий в любой момент

версионирование

Использование хранилищ данных в AWS

Репликация S3: межрегиональная и в том же регионе

  • Межрегиональная репликация (CRR): копирование в другой регион

    • Аварийное восстановление, соответствие требованиям, снижение задержки

  • Репликация в том же регионе (SRR): копирование внутри региона

    • Агрегация логов, репликация между аккаунтами
  • Оба режима требуют включённого версионирования

репликация

Использование хранилищ данных в AWS

Оптимизация производительности S3

  • Составная загрузка (Multipart upload): параллельная загрузка больших файлов
  • Transfer Acceleration: использование граничных узлов CloudFront
  • S3 Select: запрос данных без загрузки
  • Частота запросов: 3 500 PUT, 5 500 GET на префикс/секунду

оптимизация

Использование хранилищ данных в AWS

Уведомления о событиях S3 и триггеры Lambda

  • Типы событий: создание, удаление, восстановление объекта
  • Назначения: Lambda, SQS, SNS, EventBridge
  • Lambda — бессерверный сервис вычислений: запускает код без серверов
  • SQS — очередь сообщений: буферизует сообщения между сервисами
  • SNS — сервис уведомлений: отправляет оповещения по email или SMS
  • Фильтрация по префиксу и суффиксу

события

Использование хранилищ данных в AWS

Безопасность S3: политики бакета и шифрование

  • Политики бакета: управление доступом на уровне ресурса
  • ACL: устаревший механизм, рекомендуется использовать политики бакета
  • Шифрование: SSE-S3, SSE-KMS, SSE-C, на стороне клиента
  • Блокировка публичного доступа: защита от случайного раскрытия данных

безопасность

Использование хранилищ данных в AWS

Давайте потренируемся!

Использование хранилищ данных в AWS

Preparing Video For Download...