웹에서 플랫 파일 가져오기

Intermediate Importing Data in Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

이미 가져오기를 잘하고 계십니다!

  • .txt, .csv 같은 플랫 파일

  • 피클 파일, Excel 스프레드시트 등 다양한 형식

  • 관계형 데이터베이스의 데이터

  • 이 모든 작업은 로컬에서도 가능합니다

  • 그런데 데이터가 온라인에 있다면요?

Intermediate Importing Data in Python

웹 데이터를 가져올 수 있나요?

ch_1_1.010.png

  • 방법: URL로 이동해 클릭하여 파일 다운로드
  • 하지만: 재현 불가, 확장성 부족
Intermediate Importing Data in Python

다음 내용을 학습합니다

  • 웹에서 데이터셋을 가져와 로컬에 저장

  • 데이터셋을 pandas DataFrame으로 로드

  • HTTP 요청 수행(GET 요청)

  • HTML 등 웹 데이터 스크레이핑

  • HTML을 유용한 데이터로 파싱(BeautifulSoup)

  • urllib 및 requests 패키지 사용

Intermediate Importing Data in Python

urllib 패키지

  • 웹 전역에서 데이터 가져오기 인터페이스 제공
  • urlopen() — 파일명 대신 URL을 받습니다
Intermediate Importing Data in Python

Python으로 파일 다운로드 자동화하기

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Intermediate Importing Data in Python

연습해 봅시다!

Intermediate Importing Data in Python

Preparing Video For Download...