Cargar y recuperar archivos

Introducción a AWS Boto en Python

Maksim Pecherskiy

Data engineer

Buckets y objetos

Un bucket

• Un bucket tiene un nombre
• El nombre es una cadena
• Nombre único en todo S3.
• Contiene muchos objetos

Un objeto

• Un objeto tiene una clave
• El nombre es la ruta completa desde la raíz del bucket
• Clave única en el bucket
• Solo puede estar en un bucket padre

Crear el cliente

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Subir archivos

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Subir archivos

Subir más objetos

Listar objetos en un bucket

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Listar objetos en un bucket

Listar objetos en un bucket

Listar objetos en un bucket

Obtener metadatos del objeto

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Obtener metadatos del objeto

Descargar archivos

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Eliminar objetos

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Resumen

• Los buckets son como carpetas
• Los objetos son como archivos
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

¡Vamos a crear algunos objetos!

Introducción a AWS Boto en Python