Limpeza e filtragem de dados

Transforme e analise dados com o Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Ferramentas de limpeza de dados

Ícones representando três ferramentas: SQL, Spark e Dataflows

Tratando linhas em branco

Remover linha quando a linha inteira estiver em branco

Diagrama mostrando uma tabela com várias linhas em branco transformada em uma tabela sem as linhas em branco

Tratando linhas em branco com Dataflows

Transformação Remove blank rows

Captura de tela do menu Remove rows no Dataflow, destacando a opção de remover linhas em branco, com exemplo de antes e depois

Tratando linhas em branco com Spark

Função DataFrame dropna( )
Pode descartar linha com qualquer valor nulo ou com todos os valores nulos

Exemplo de tabela antes e depois de remover linhas usando duas variações da função dropna

Tratando linhas duplicadas

Remover linhas duplicadas

Diagrama mostrando uma tabela com uma linha duplicada transformada em uma tabela onde um dos registros duplicados foi removido

Tratando duplicatas com Dataflows

Transformação Remove duplicates

Captura de tela do menu Remove rows no Dataflow, destacando a opção de remover duplicatas, com exemplo de antes e depois

Tratando duplicatas com Spark

Função DataFrame dropDuplicates( )

Diagrama mostrando uma tabela com uma linha duplicada transformada em uma tabela onde um dos registros duplicados foi removido após chamar a função dropDuplicates do DataFrame

Substituindo valores

Substituir ocorrências de um valor em uma coluna por outro.
Também pode preencher células vazias com um valor.

Diagrama mostrando uma tabela onde o valor ABC em alguns registros foi substituído por XYA.

Substituindo valores com Dataflows

Transformação Replace values

Captura de tela da transformação Replace values no Dataflow, com exemplo de antes e depois ao trocar vazios pela string '(Unknown)'

Substituindo valores com Spark

Função DataFrame replace( )

Diagrama mostrando uma tabela onde valores N/A em alguns registros foram trocados pela string 'Unknown' após chamar a função replace do PySpark

Corrigindo tipos de dados

Consistência de tipos de dados em todo o modelo
Permite comparar valores

Imagem representando uma coluna que armazena números como texto sendo convertida para números de fato

Corrigindo tipos de dados

Consistência de tipos de dados em todo o modelo.
Permite comparar valores.
Suporta operações específicas do tipo.
- Operações aritméticas em colunas numéricas.
- Operações de data/hora em colunas de data/hora.

Exemplo de transformações disponíveis em coluna de texto (minúsculas, MAIÚSCULAS, trim) e em coluna numérica (soma e máximo)

Corrigindo tipos de dados com Dataflows

Menu sensível ao contexto (opção 1):
1. Selecione uma coluna na visualização de dados.
2. Clique no ícone à esquerda do cabeçalho da coluna.

Captura de tela destacando o ícone à esquerda do cabeçalho da coluna que dá acesso ao menu de contexto Change type

Corrigindo tipos de dados com Dataflows

Menu sensível ao contexto (opção 1):
1. Selecione uma coluna na visualização de dados.
2. Clique no ícone à esquerda do cabeçalho da coluna.
3. Escolha um novo tipo de dados na lista.

Captura de tela do menu de contexto Change type disponível ao clicar no tipo de dados no cabeçalho da coluna na visualização de dados

Corrigindo tipos de dados com Dataflows

Menu sensível ao contexto (opção 2):
1. Selecione uma coluna na visualização de dados.
2. Clique com o botão direito no cabeçalho da coluna.

Captura de tela destacando o cabeçalho de uma coluna cujo tipo de dados queremos alterar

Corrigindo tipos de dados com Dataflows

Adicionar uma transformação:
1. Selecione uma coluna na visualização de dados.
2. Adicione uma transformação clicando em (+) na visualização do diagrama.
3. Clique em Change type no menu pop-up e escolha um novo tipo de dados na lista.

Captura de tela mostrando uma consulta onde a transformação Change Type está sendo adicionada

Corrigindo tipos de dados com Spark

Função DataFrame cast( )

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

Exemplo:

# Converter a coluna [orderID] para inteiro
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Filtragem de dados

Incluir ou excluir linhas com base em uma condição.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Diagrama que mostra uma tabela filtrando qualquer linha que não seja do estado de NY

Filtragem de dados com Dataflows

Use a transformação Filter

Captura de tela do filtro aplicado a uma coluna

Filtragem de dados com Spark

Função DataFrame filter( )
where( ) é um alias de filter( )

df.filter( <condition> )

Exemplo:

# Retornar apenas as linhas do DataFrame onde State = 'NY'
df.filter( df.state == 'NY' )

Vamos praticar!

Transforme e analise dados com o Microsoft Fabric