Fazendo upload e recuperando arquivos

Introdução ao AWS Boto em Python

Maksim Pecherskiy

Data engineer

Buckets e objetos

Um Bucket

• Um bucket tem um nome
• Nome é uma string
• Nome único em todo o S3.
• Contém muitos objetos

Um Objeto

• Um objeto tem uma chave
• Nome é o caminho completo a partir da raiz do bucket
• Chave única no bucket
• Só pode estar em um bucket pai

Criando o client

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Fazendo upload de arquivos

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Fazendo upload de arquivos

Enviando mais objetos

Listando objetos em um bucket

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Listando objetos em um bucket

Listando objetos em um bucket

Listando objetos em um bucket

Obtendo metadados do objeto

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Obtendo metadados do objeto

Baixando arquivos

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Excluindo objetos

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Resumo

• Buckets são como pastas
• Objetos são como arquivos
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Vamos criar alguns objetos!

Introdução ao AWS Boto em Python