Datateknik och big data

Introduktion till datatekniker

Hadrien Lacroix

Content Developer at DataCamp

Om kursen

• Konceptuell kurs
• Ingen kodning
• Mål
  • Kunna kommunicera med datatekniker
  • Ge en stabil grund att bygga vidare på

Kapitel 1

Vad är datateknik?

1. Datateknik och big data
2. Datatekniker vs. datavetare
3. Datapipelines

Kapitel 2

Hur datalagring fungerar

1. Strukturerad vs. ostrukturerad data
2. SQL
3. Datalager och datasjöar

Kapitel 3

Hur data flyttas och bearbetas

1. Bearbeta data
2. Schemalägg data
3. Parallell datorberäkning
4. Molnbaserad datorberäkning

$$

$$

$$

Dataflöde

Dataflöde

Dataflöde

Dataflöde

Datatekniker

Datatekniker

Datatekniker levererar:

• rätt data
• i rätt form
• till rätt personer
• så effektivt som möjligt

En datatekniker's ansvarsområden

• Hämtar in data från olika källor
• Optimerar databaser för analys
• Tar bort korrupt data
• Utvecklar, bygger, testar och underhåller dataarkitekturer

Datatekniker och big data

• Big data blir allt vanligare =>

Datatekniker och big data

• Big data blir allt vanligare => behovet av datatekniker ökar
• Big data:
  • Kräver nya sätt att hantera datamängdens storlek
  • Så stor att traditionella metoder inte längre räcker till

Big data-tillväxt

• Sensorer och enheter
• Sociala medier
• Företagsdata
• VoIP (röstkommunikation, multimediasessioner)

¹ Data Age 2025, Seagate, november 2018

De fem V:na

• Volym (hur mycket?)
• Variation (vilken typ?)
• Hastighet (hur ofta?)
• Tillförlitlighet (hur korrekt?)
• Värde (hur användbart?)

Sammanfattning

• Vad som väntar dig
• Hur data flödar genom en organisation
• När en datatekniker kliver in
• Vad deras ansvarsområden är
• Hur datateknik hänger ihop med big data

Nu kör vi en övning!

Introduktion till datatekniker