Dateien hoch- und herunterladen

Einführung in AWS Boto mit Python

Maksim Pecherskiy

Data engineer

Buckets und Objekte

Ein Bucket

• Ein Bucket hat einen Namen
• Name ist ein String
• Eindeutiger Name in ganz S3.
• Enthält viele Objekte

Ein Objekt

• Ein Objekt hat einen Key
• Name ist der vollständige Pfad ab Bucket-Root
• Eindeutiger Key im Bucket
• Kann nur in einem übergeordneten Bucket sein

Client erstellen

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Dateien hochladen

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Dateien hochladen

Weitere Objekte hochladen

Objekte in einem Bucket auflisten

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Objekte in einem Bucket auflisten

Objekte in einem Bucket auflisten

Objekte in einem Bucket auflisten

Objektmetadaten abrufen

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Objektmetadaten abrufen

Dateien herunterladen

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Objekte löschen

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Zusammenfassung

• Buckets sind wie Ordner
• Objekte sind wie Dateien
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Lass uns ein paar Objekte erstellen!

Einführung in AWS Boto mit Python