Încărcarea și descărcarea fișierelor

Introducere în AWS Boto în Python

Maksim Pecherskiy

Data engineer

Bucketuri și obiecte

Un Bucket

• Un bucket are un nume
• Numele este un șir de caractere
• Unic în întreg S3
• Conține mai multe obiecte

Un Obiect

• Un obiect are o cheie
• Numele este calea completă din rădăcina bucketului
• Cheie unică în bucket
• Poate fi în un singur bucket părinte

Crearea clientului

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Încărcarea fișierelor

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Încărcarea fișierelor

Încărcarea mai multor obiecte

Listarea obiectelor dintr-un bucket

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Listarea obiectelor dintr-un bucket

Listarea obiectelor dintr-un bucket

Listarea obiectelor dintr-un bucket

Obținerea metadatelor unui obiect

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Obținerea metadatelor unui obiect

Descărcarea fișierelor

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Ștergerea obiectelor

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Rezumat

• Bucketurile sunt ca niște foldere
• Obiectele sunt ca niște fișiere
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Să creăm câteva obiecte!

Introducere în AWS Boto în Python