S3 dogłębnie: przechowywanie, wersjonowanie i replikacja

Korzystanie z magazynów danych w AWS

Dunieski Otano

AWS Solutions Architect

Rachunek za przechowywanie: 3 miliony dolarów

  • Firma przechowuje 100 TB logów w S3 Standard
  • Pliki otwierane raz, potem nigdy
  • Roczny koszt: 2 760 000 USD
  • Z polityką cyklu życia: 48 000 USD (oszczędność 98%)

koszt

Korzystanie z magazynów danych w AWS

Klasy przechowywania S3

  • Standard: Częsty dostęp, najwyższy koszt, natychmiastowe pobieranie
  • Standard-IA: Rzadki dostęp, ~50% taniej, opłata za pobranie
  • Glacier Flexible: Archiwum, ~80% taniej, pobieranie: minuty–godziny
  • Glacier Deep Archive: Długoterminowe, najniższy koszt, pobieranie 12 h

klasy

Korzystanie z magazynów danych w AWS

Polityki cyklu życia: automatyzacja przejść

  • Reguły oparte na wieku obiektu
  • Automatyczne przejścia między klasami
  • Automatyczne wygasanie (usuwanie)
  • Stosowanie do prefiksów dla różnych polityk

polityki

Korzystanie z magazynów danych w AWS

Wersjonowanie S3: ochrona przed usunięciem

  • Wersjonowanie: Przechowuje wiele wersji tego samego obiektu
  • Chroni przed przypadkowym usunięciem i nadpisaniem
  • Każda wersja ma unikalny identyfikator
  • Poprzednie wersje można przywrócić w dowolnym momencie

wersjonowanie

Korzystanie z magazynów danych w AWS

Replikacja S3: między regionami i w obrębie regionu

  • Cross-Region Replication (CRR): Kopiowanie do innego regionu

    • Odtwarzanie po awarii, zgodność z przepisami, niższe opóźnienia

  • Same-Region Replication (SRR): Kopiowanie w obrębie regionu

    • Agregowanie logów, replikacja między kontami
  • Oba wymagają włączonego wersjonowania

replikacja

Korzystanie z magazynów danych w AWS

Optymalizacja wydajności S3

  • Multipart upload: Równoległe przesyłanie dużych plików
  • Transfer Acceleration: Węzły brzegowe CloudFront
  • S3 Select: Zapytania do danych bez pobierania
  • Przepustowość: 3 500 PUT, 5 500 GET na prefiks/sekundę

optymalizacja

Korzystanie z magazynów danych w AWS

Powiadomienia o zdarzeniach S3 i wyzwalacze Lambda

  • Typy zdarzeń: Utworzenie, usunięcie, przywrócenie obiektu
  • Miejsca docelowe: Lambda, SQS, SNS, EventBridge
  • Lambda to bezserwerowa usługa obliczeniowa: uruchamia kod bez serwerów
  • SQS to kolejka komunikatów: buforuje wiadomości między usługami
  • SNS to usługa powiadomień: wysyła alerty e-mailem lub SMS-em
  • Filtrowanie po prefiksie i sufiksie

zdarzenie

Korzystanie z magazynów danych w AWS

Bezpieczeństwo S3: polityki bucket i szyfrowanie

  • Polityki bucket: Kontrola dostępu oparta na zasobach
  • ACL: Przestarzałe — zamiast nich używaj polityk bucket
  • Szyfrowanie: SSE-S3, SSE-KMS, SSE-C, po stronie klienta
  • Block Public Access: Zapobiega przypadkowemu ujawnieniu danych

bezpieczeństwo

Korzystanie z magazynów danych w AWS

Czas na praktykę!

Korzystanie z magazynów danych w AWS

Preparing Video For Download...