Ladda upp och hämta filer

Introduktion till AWS Boto i Python

Maksim Pecherskiy

Data engineer

Buckets och objekt

En bucket

• En bucket har ett namn
• Namn är en sträng
• Unikt namn i hela S3
• Innehåller många objekt

Ett objekt

• Ett objekt har en nyckel
• Namn är hela sökvägen från bucketens rot
• Unik nyckel i bucketen
• Kan bara finnas i en överordnad bucket

Skapa klienten

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Ladda upp filer

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Ladda upp filer

Ladda upp fler objekt

Lista objekt i en bucket

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Lista objekt i en bucket

Lista objekt i en bucket

Lista objekt i en bucket

Hämta objektmetadata

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Hämta objektmetadata

Ladda ned filer

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Ta bort objekt

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Sammanfattning

• Buckets liknar mappar
• Objekt liknar filer
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Nu kör vi en övning!

Introduktion till AWS Boto i Python