Przesyłanie i pobieranie plików

Wprowadzenie do AWS Boto w Pythonie

Maksim Pecherskiy

Data engineer

Zasobniki i obiekty

Zasobnik

• Zasobnik ma nazwę
• Nazwa jest ciągiem znaków
• Unikalna nazwa w całym S3
• Zawiera wiele obiektów

Obiekt

• Obiekt ma klucz
• Nazwa to pełna ścieżka od katalogu głównego zasobnika
• Unikalny klucz w zasobniku
• Może należeć tylko do jednego zasobnika nadrzędnego

Tworzenie klienta

s3 = boto3.client(
  's3', 
  region_name='us-east-1', 
  aws_access_key_id=AWS_KEY_ID, 
  aws_secret_access_key=AWS_SECRET
)

Przesyłanie plików

s3.upload_file(
  Filename='gid_requests_2019_01_01.csv', 
  Bucket='gid-requests', 
  Key='gid_requests_2019_01_01.csv')

Przesyłanie plików

Przesyłanie kolejnych obiektów

Listowanie obiektów w zasobniku

response = s3.list_objects(
  Bucket='gid-requests', 
  MaxKeys=2,
  Prefix='gid_requests_2019_')

print(response)

Listowanie obiektów w zasobniku

Listowanie obiektów w zasobniku

Listowanie obiektów w zasobniku

Pobieranie metadanych obiektu

response = s3.head_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

print(response)

Pobieranie metadanych obiektu

Pobieranie plików

s3.download_file(
  Filename='gid_requests_downed.csv',
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Usuwanie obiektów

s3.delete_object(
  Bucket='gid-requests', 
  Key='gid_requests_2018_12_30.csv')

Podsumowanie

• Zasobniki są jak foldery
• Obiekty są jak pliki
• boto3.client()
• s3.upload_file()
• s3.list_objects()
• s3.head_object()
• s3.download_file()
• s3.delete_object()

Utwórzmy kilka obiektów!

Wprowadzenie do AWS Boto w Pythonie