Nahrávání a stahování souborů

Introduction to AWS Boto in Python

Maksim Pecherskiy

Data engineer

Buckety a objekty

Bucket

• Bucket má název
• Název je řetězec
• Jedinečný název v celém S3
• Obsahuje mnoho objektů

Objekt

• Objekt má klíč
• Název je úplná cesta od kořene bucketu
• Jedinečný klíč v rámci bucketu
• Může být pouze v jednom bucketu

Vytvoření klienta

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Nahrávání souborů

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Nahrávání souborů

Nahrávání dalších objektů

Výpis objektů v bucketu

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Výpis objektů v bucketu

Výpis objektů v bucketu

Výpis objektů v bucketu

Získání metadat objektu

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Získání metadat objektu

Stahování souborů

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Mazání objektů

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Shrnutí

• Buckety jsou jako složky
• Objekty jsou jako soubory
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Vytvoříme si objekty!

Introduction to AWS Boto in Python