Limpieza y filtrado de datos

Transformar y analizar datos con Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Herramientas de limpieza de datos

Iconos que representan tres herramientas: SQL, Spark y Dataflows

Cómo manejar filas en blanco

Quitar filas cuando toda la fila esté en blanco

Diagrama que muestra una tabla con varias filas en blanco transformada en una tabla donde se han eliminado las filas en blanco

Manejo de filas en blanco con Dataflows

Transformación Quitar filas en blanco

Captura del menú Quitar filas en Dataflow, destacando la opción para quitar filas en blanco, con una tabla de antes y después

Manejo de filas en blanco con Spark

Función de DataFrame dropna( )
Puede eliminar una fila con cualquier valor nulo o con todos los valores nulos

Ejemplo de tabla antes y después de eliminar filas usando dos variantes de la función dropna

Cómo manejar filas duplicadas

Quitar filas duplicadas

Diagrama que muestra una tabla con una fila duplicada transformada en una tabla donde se ha eliminado uno de los duplicados

Manejo de duplicados con Dataflows

Transformación Quitar duplicados

Captura del menú Quitar filas en Dataflow, destacando la opción para quitar duplicados, con una tabla de antes y después

Manejo de duplicados con Spark

Función de DataFrame dropDuplicates( )

Diagrama que muestra una tabla con una fila duplicada transformada en una tabla donde se ha eliminado uno de los duplicados tras llamar a la función dropDuplicates del DataFrame

Sustitución de valores

Sustituir apariciones de un valor en una columna por otro valor.
También sirve para rellenar celdas vacías con un valor.

Diagrama que muestra una tabla donde el valor ABC en algunas filas se sustituye por XYA

Sustitución de valores con Dataflows

Transformación Sustituir valores

Captura de la opción Sustituir valores en Dataflow, con un ejemplo de tabla antes y después cambiando vacíos por la cadena '(Unknown)'

Sustitución de valores con Spark

Función de DataFrame replace( )_

Diagrama que muestra una tabla donde el valor N/A en algunas filas se sustituye por la cadena 'Unknown' tras llamar a la función replace de PySpark

Corregir tipos de datos

Consistencia de tipos de datos en todo el modelo
Permite comparar valores

Imagen que representa una columna que guarda números como texto convirtiéndose a números reales

Corregir tipos de datos

Consistencia de tipos de datos en todo el modelo.
Permite comparar valores.
Habilita operaciones específicas por tipo.
- Operaciones aritméticas en columnas numéricas.
- Operaciones de fecha/hora en columnas de fecha/hora.

Ejemplo de transformaciones disponibles en una columna de texto, como minúsculas, mayúsculas y trim, y en una columna numérica, como suma y máximo

Corregir tipos de datos con Dataflows

Menú contextual (opción 1):
1. Selecciona una columna en la vista de datos.
2. Haz clic en el icono a la izquierda del encabezado de la columna.

Captura destacando el icono a la izquierda del encabezado de una columna que da acceso al menú contextual Cambiar tipo

Corregir tipos de datos con Dataflows

Menú contextual (opción 1):
1. Selecciona una columna en la vista de datos.
2. Haz clic en el icono a la izquierda del encabezado de la columna.
3. Elige un nuevo tipo de datos de la lista.

Captura del menú Cambiar tipo disponible al hacer clic en el tipo de datos en el encabezado de una columna en la vista de datos

Corregir tipos de datos con Dataflows

Menú contextual (opción 2):
1. Selecciona una columna en la vista de datos.
2. Haz clic derecho en el encabezado de la columna.

Captura destacando el encabezado de una columna cuyo tipo de datos queremos cambiar

Corregir tipos de datos con Dataflows

Añadir una transformación:
1. Selecciona una columna en la vista de datos.
2. Añade una transformación haciendo clic en (+) en la vista de diagrama.
3. Haz clic en Cambiar tipo en el menú emergente y elige un nuevo tipo de datos de la lista.

Captura que muestra una consulta donde se está añadiendo la transformación Cambiar tipo

Corregir tipos de datos con Spark

Función de DataFrame cast( )_

df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))

Ejemplo:

# Convertir la columna [orderID] a integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))

Filtrado de datos

Incluir o excluir filas según una condición.

SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Diagrama que muestra una tabla filtrando cualquier fila no relacionada con el estado NY

Filtrado de datos con Dataflows

Usa la transformación Filter

Captura del filtro aplicado a una columna

Filtrado de datos con Spark

Función de DataFrame filter( )
where( ) es un alias de filter( )

df.filter( <condition> )

Ejemplo:

# Devolver solo las filas del DataFrame donde State = 'NY'
df.filter( df.state == 'NY' )

¡Vamos a practicar!

Transformar y analizar datos con Microsoft Fabric