S3 deep dive: opslag, versiebeheer en replicatie

Dataopslagdiensten gebruiken in AWS

Dunieski Otano

AWS Solutions Architect

De opslagrekening van $3 miljoen

  • Bedrijf slaat 100 TB logs op in S3 Standard
  • Bestanden één keer geraadpleegd, daarna nooit meer
  • Jaarlijkse kosten: $2.760.000
  • Met lifecyclebeleid: $48.000 (98% besparing)

kosten

Dataopslagdiensten gebruiken in AWS

S3-opslagklassen uitgelegd

  • Standard: Frequente toegang, hoogste kosten, direct ophalen
  • Standard-IA: Zelden gebruikt, ~50% goedkoper, ophaalkosten
  • Glacier Flexible: Archief, ~80% goedkoper, minuten-uren ophalen
  • Glacier Deep Archive: Langdurig, laagste kosten, 12 uur ophalen

klassen

Dataopslagdiensten gebruiken in AWS

Lifecyclebeleid: automatiseer overgangen

  • Regels op basis van objectleeftijd
  • Automatische overgang tussen klassen
  • Automatische expiratie (verwijdering)
  • Toepassen op prefixes voor verschillend beleid

beleidsregels

Dataopslagdiensten gebruiken in AWS

S3-versiebeheer: bescherm tegen verwijdering

  • Versiebeheer: Meerdere versies van hetzelfde object bewaren
  • Beschermt tegen per ongeluk verwijderen/overschrijven
  • Elke versie heeft een unieke ID
  • Vorige versies altijd te herstellen

versiebeheer

Dataopslagdiensten gebruiken in AWS

S3-replicatie: Cross-Region en Same-Region

  • Cross-Region Replication (CRR): Kopie naar andere regio

    • Disaster recovery, compliance, lagere latentie

  • Same-Region Replication (SRR): Kopie binnen dezelfde regio

    • Logs verzamelen, replicatie tussen accounts
  • Beide vereisen ingeschakeld versiebeheer

replicatie

Dataopslagdiensten gebruiken in AWS

S3-prestatieoptimalisatie

  • Multipart upload: Grote bestanden parallel uploaden
  • Transfer Acceleration: CloudFront edge-locaties gebruiken
  • S3 Select: Data bevragen zonder te downloaden
  • Aanvraaglimiet: 3.500 PUT, 5.500 GET per prefix/seconde

geoptimaliseerd

Dataopslagdiensten gebruiken in AWS

S3-eventmeldingen en Lambda-triggers

  • Eventtypes: Object gemaakt, verwijderd, hersteld
  • Bestemmingen: Lambda, SQS, SNS, EventBridge
  • Lambda is serverless compute: voert code uit zonder servers
  • SQS is een message queue: buffert berichten tussen services
  • SNS is een notificatieservice: stuurt alerts via e-mail of sms
  • Filteren op prefix en suffix

event

Dataopslagdiensten gebruiken in AWS

S3-beveiliging: bucket policies en encryptie

  • Bucket policies: Resourcegebaseerde toegang
  • ACL's: Verouderd, gebruik bucket policies
  • Encryptie: SSE-S3, SSE-KMS, SSE-C, client-side
  • Block Public Access: Voorkom onbedoelde blootstelling

beveiliging

Dataopslagdiensten gebruiken in AWS

Laten we oefenen!

Dataopslagdiensten gebruiken in AWS

Preparing Video For Download...