강의 요약

셸에서의 데이터 처리

Susan Sun

Data Person

명령줄에서 데이터 다운로드

• curl, wget으로 데이터 파일 다운로드
• 문서와 매뉴얼(예: man curl, wget --help)
• 여러 파일 일괄 다운로드(예: wget --limit-rate=200k -i url_list.txt)

명령줄에서 데이터 처리

• 명령줄 데이터 도구 소개: csvkit
• in2csv로 파일을 CSV로 변환
• csvlook, csvstat으로 미리보기 출력
• csvcut, csvgrep으로 데이터 필터링
• csvstack으로 여러 파일 병합

명령줄에서 데이터베이스 조작

• sql2csv, csvsql로 데이터베이스 조작
• csvkit을 활용한 고급 SQL 유사 ETL 명령

명령줄로 데이터 파이프라인 구축

• 명령줄에서 Python 실행
• pip으로 Python 패키지 관리
• cron으로 Python 모델 및 빌드 파이프라인 자동화

감사합니다! 다음에 뵙겠습니다!

셸에서의 데이터 처리