데이터 구조

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

정형 데이터

  • 검색 및 정리 쉬움
  • 일관된 모델, 행과 열
  • 정의된 유형
  • 그룹화하여 관계 형성 가능
  • 관계형 데이터베이스에 저장됨
  • 데이터의 약 20%는 정형 데이터
  • SQL로 생성 및 조회 가능
데이터 엔지니어링의 이해

직원 테이블

index last_name first_name role team full_time office
0 Thien Vivian Data Engineer Data Science 1 Belgium
1 Huong Julian Data Scientist Data Science 1 Belgium
2 Duplantier Norbert Software Developer Infrastructure 1 United Kingdom
3 McColgan Jeff Business Developer Sales 1 United States
4 Sanchez Rick Support Agent Customer Service 0 United States
데이터 엔지니어링의 이해

관계형 데이터베이스

office address number city zipcode
Belgium Martelarenlaan 38 Leuven 3010
UK Old Street 207 London EC1V 9NR
USA 5th Ave 350 New York 10118
데이터 엔지니어링의 이해

관계형 데이터베이스

index last_name first_name office address number city zipcode
0 Thien Vivian Belgium Martelarenlaan 38 Leuven 3010
1 Huong Julian Belgium Martelarenlaan 38 Leuven 3010
2 Duplantier Norbert UK Old Street 207 London EC1V 9NR
3 McColgan Jeff USA 5th Ave 350 New York 10118
4 Sanchez Rick USA 5th Ave 350 New York 10118
데이터 엔지니어링의 이해

반정형 데이터

  • 검색 및 정리 비교적 쉬움
  • 일관된 모델, 덜 엄격한 구현 방식 - 관측값마다 크기가 다를 수 있음
  • 다양한 유형
  • 그룹화가 가능하지만 구현이 더 복잡함
  • NoSQL 데이터베이스: JSON, XML, YAML
데이터 엔지니어링의 이해

좋아하는 아티스트 JSON 파일

{
  {"user_1645156":
     "last_name": "Lacroix",
     "first_name: "Hadrien",
     "favorite_artists": ["Fools in Deed", "Gojira", "Pain", "Nanowar of Steel"]},
  {"user_5913764":
     "last_name": "Billen",
     "first_name: "Sara",
     "favorite_artists": ["Tamino", "Taylor Swift"]},
  {"user_8436791":
     "last_name": "Sulmont",
     "first_name: "Lis",
     "favorite_artists": ["Arctic Monkeys", "Rihanna", "Nina Simone"]},
  ...
}
데이터 엔지니어링의 이해

비정형 데이터

  • 모델을 따르지 않으며, 행과 열로 표현하기 어려움
  • 검색 및 정리 어려움
  • 보통 텍스트, 음성, 이미지 또는 영상
  • 일반적으로 데이터 레이크에 저장됨, 데이터 웨어하우스나 데이터베이스에서도 발견 가능
  • 대부분의 데이터는 비정형
  • 높은 활용 가치 지닐 수 있음
데이터 엔지니어링의 이해

가사

데이터 엔지니어링의 이해

곡의 스펙트럼

데이터 엔지니어링의 이해

앨범 표지

데이터 엔지니어링의 이해

뮤직 비디오

데이터 엔지니어링의 이해

구조 추가하기

  • AI를 사용해 비정형 데이터 검색 및 정리
  • 정보를 추가해 반정형으로 만들기
데이터 엔지니어링의 이해

요약

  • 정형 데이터
  • 반정형 데이터
  • 비정형 데이터
  • 셋의 차이점
  • 예시 들어보기
데이터 엔지니어링의 이해

연습해봅시다!

데이터 엔지니어링의 이해

Preparing Video For Download...