Estudo de caso: gerando um repositório de relatórios

Introdução ao AWS Boto em Python

Maksim Pecherskiy

Data Engineer

Produto final

As etapas

Preparar os dados

Baixar os arquivos do mês do bucket de dados brutos
Concatená-los em um único csv
Criar um DataFrame agregado

As etapas

Criar o relatório

Gravar o DataFrame em CSV e HTML
Gerar um gráfico Bokeh e salvar em HTML

As etapas

Enviar o relatório para um site compartilhável

Criar o bucket gid-reports
Fazer upload dos três arquivos do mês para o S3
Gerar um arquivo index.html listando todos os arquivos
Obter a URL do site!

Bucket de dados brutos

Arquivos privados
CSVs diários de solicitações do App
Dados brutos

Bucket gid requests

Ler arquivos de dados brutos

# Create list to hold our DataFrames
df_list = []


# Request the list of csv's from S3 with prefix; Get contents
response = s3.list_objects(
  Bucket='gid-requests', 
  Prefix='2019_jan')


# Get response contents
request_files = response['Contents']

Ler arquivos de dados brutos

# Iterate over each object
for file in request_files:
    obj = s3.get_object(Bucket='gid-requests', Key=file['Key'])


    # Read it as DataFrame
    obj_df = pd.read_csv(obj['Body'])


    # Append DataFrame to list
    df_list.append(obj_df)

Ler arquivos de dados brutos

# Concatenate all the DataFrames in the list
df = pd.concat(df_list)


# Preview the DataFrame
df.head()

Prévia do DataFrame

Criar relatórios agregados

Fazer alguma agregação
df.to_csv('jan_final_report.csv')
df.to_html('jan_final_report.html')
jan_final_chart.html

Relatórios agregados

Bucket de relatórios

Site do bucket
Acesso público
Dados agregados e relatórios HTML

Bucket de relatórios

Fazer upload do CSV agregado

# Upload Aggregated CSV to S3
s3.upload_file(Filename='./jan_final_report.csv', 
                      Key='2019/jan/final_report.csv', 
                      Bucket='gid-reports',
                      ExtraArgs = {'ACL': 'public-read'})

Fazer upload da tabela HTML

# Upload HTML table to S3
s3.upload_file(Filename='./jan_final_report.html', 
                      Key='2019/jan/final_report.html', 
                      Bucket='gid-reports',
                      ExtraArgs = {
                        'ContentType': 'text/html',
                        'ACL': 'public-read'})

Fazer upload do gráfico HTML

# Upload Aggregated Chart to S3
s3.upload_file(Filename='./jan_final_chart.html', 
                      Key='2019/jan/final_chart.html', 
                      Bucket='gid-reports',
                      ExtraArgs = {
                        'ContentType': 'text/html',
                        'ACL': 'public-read'})

Relatórios enviados

Criar index.html

# List the gid-reports bucket objects starting with 2019/
r = s3.list_objects(Bucket='gid-reports', Prefix='2019/')


# Convert the response contents to DataFrame
objects_df = pd.DataFrame(r['Contents'])


# Create a column "Link" that contains website url + key
base_url = "https://gid-reports."
objects_df['Link'] = base_url + objects_df['Key']

Criar index.html

# Write DataFrame to html
objects_df.to_html('report_listing.html', 
                   columns=['Link', 'LastModified', 'Size'],
                   render_links=True)

Gravar DF em html

Fazer upload do index.html

# Upload the file to gid-reports bucket root.
s3.upload_file(
  Filename='./report_listing.html', 
  Key='index.html', 
  Bucket='gid-reports',
  ExtraArgs = {
    'ContentType': 'text/html', 
    'ACL': 'public-read'
  })

Obter a URL do index!

Bucket website URL *


"http://gid-reports.index.html"

Vamos ajustar!

Introdução ao AWS Boto em Python