Вивантаження та отримання файлів

Вступ до AWS Boto в Python

Maksim Pecherskiy

Data engineer

Бакети й об'єкти

Бакет

• Бакет має name
• Name — це рядок
• Унікальне ім'я в усій S3.
• Містить багато об'єктів

Об'єкт

• Об'єкт має key
• Name — повний шлях від кореня бакета
• Унікальний ключ у бакеті
• Може бути лише в одному батьківському бакеті

Створення клієнта

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Вивантаження файлів

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Вивантаження файлів

Вивантаження інших об'єктів

Список об'єктів у бакеті

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Список об'єктів у бакеті

Список об'єктів у бакеті

Список об'єктів у бакеті

Отримання метаданих об'єкта

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Отримання метаданих об'єкта

Завантаження файлів

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Вилучення об'єктів

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Підсумок

• Бакети — як теки
• Об'єкти — як файли
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Створімо кілька об'єктів!

Вступ до AWS Boto в Python