Загрузка и получение файлов

Введение в AWS Boto на Python

Maksim Pecherskiy

Data engineer

Бакеты и объекты

Бакет

• У бакета есть имя
• Имя — строка
• Уникальное имя во всём S3.
• Содержит множество объектов

Объект

• У объекта есть ключ
• Имя — полный путь от корня бакета
• Уникальный ключ в бакете
• Может быть только в одном бакете

Создание клиента

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Загрузка файлов

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Загрузка файлов

Загрузка дополнительных объектов

Получение списка объектов в бакете

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Получение списка объектов в бакете

Получение списка объектов в бакете

Получение списка объектов в бакете

Получение метаданных объекта

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Получение метаданных объекта

Скачивание файлов

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Удаление объектов

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Итоги

• Бакеты — как папки
• Объекты — как файлы
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Давайте потренируемся!

Введение в AWS Boto на Python