Schalen en concurrency-controles

Serverless-toepassingen met AWS Lambda

Claudio Canales

Senior DevOps Engineer

Schalen in één beeld

• Meer vraag -> meer parallelle runs.
• Elke run gebruikt een uitvoeringomgeving.
• Concurrency = runs die nu draaien.

Wat is concurrency?

• Eén invocation = één werkeenheid.
• Concurrency = hoeveel er nu draaien.
• Als er 10 draaien, is concurrency = 10.

Benodigde concurrency schatten

• Vuistregel: concurrency = rps * duration.
• Verlaag de duur om concurrency te verlagen.
• Gebruik dit om limieten veilig te kiezen.

Voorbeeld: 50 rps bij 200 ms

• 200 ms = 0,2 seconden.
• 50 * 0,2 = 10 gelijktijdige uitvoeringen.
• Snellere code = minder parallelle runs.

Limieten: accountpool vs. functieslice

• Concurrency is op accountniveau beperkt.
• Reserveer een deel voor een kritieke functie.
• Andere functies delen de rest.

Reserved concurrency: harde cap

• Een veiligheidsklep.
• Beperkt parallel werk.
• Boven de cap wordt afgeremd.
• Een lawaaiige functie put de capaciteit niet uit.

Throttling: zo ziet het eruit

• Lambda remt bij de concurrencylimiet.
• De aanroeper krijgt geen normale uitvoering.
• Je ziet throttles in monitoring.

Provisioned concurrency: warme capaciteit

• Een pool met voorgestructureerde omgevingen.
• Vaak achter een alias.
• Verzoeken starten sneller.

Cold start vs provisioned

Cold start

• Eenmalige initialisatievertraging.
• Eerste verzoek betaalt de opstartkost.

Provisioned

• Init-werk vooraf gedaan.
• Eerste verzoek betaalt de opstartkost niet.

Reserved vs provisioned (andere problemen)

• Reserved beheerst load.
• Provisioned verlaagt opstartlatentie.
• Veel productie-functies gebruiken beide.

Bescherm downstream-systemen

• Een database kan maar beperkt aantal connecties aan.
• Een concurrency-cap voorkomt dit.
• Een verkeerspiek kan tot een outage leiden.

Bursts vs steady verkeer

• Bursts maken veel parallelle omgevingen.
• Trage handlers houden concurrency hoog.
• Caps kunnen de piek afvlakken.
• Duur verkorten is ook een schaalstrategie.

Fouten en retries verhogen de load

• Retries kunnen verkeer versterken.
• Concurrency-limieten verkleinen de impact.
• Een faalloop kan afhankelijkheden overbelasten.

Een simpele tuning-workflow

• Begin met meten.
• Zet een cap als throttles of druk verschijnen.
• Voeg provisioned capaciteit toe als cold starts de latentie schaden.

Belangrijkste punten

• Concurrency helpt nadenken over schalen.
• Schatting: rps * duration.
• Reserved begrenst load; let op throttles.
• Provisioned verlaagt cold-startlatentie.

Laten we oefenen!

Serverless-toepassingen met AWS Lambda