Imputación de valores nulos en Python

Uno de los problemas más habituales con el que podemos encontrarnos a la hora de trabajar con un conjunto de datos es la existencia de registros con valores nulos. Pudiendo ser necesario imputar un valor a estos registros para poder usarlos en un posterior análisis. Por eso en Scikit-learn existen varias clases con las que se puede realizar la imputación de valores nulos en Python. Clases que utilizan estadísticos básicos como la media, la mediana o la moda y otras que basadas en algoritmos más avanzados como pueden ser los k-vecinos.

Conjunto de datos con valores nulos

Antes de realizar la imputación de datos es necesario crear un conjunto de datos al que le falte valores. Algo que se puede hacer con el siguiente ejemplo.

import numpy as np
import pandas as pd

data = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6, 7, 8, 9],
                     'area': [1, 2, 3, 1, 2, 3, 1, 2, 3],
                     'age': [32, 30, np.nan, 23, 27, 44, 67, 23, np.nan],
                     'amount': [102, 121, 343, np.nan, 121, np.nan, 155, 149, 221]})

   id  area   age  amount
0   1     1  32.0   102.0
1   2     2  30.0   121.0
2   3     3   NaN   343.0
3   4     1  23.0     NaN
4   5     2  27.0   121.0
5   6     3  44.0     NaN
6   7     1  67.0   155.0
7   8     2  23.0   149.0
8   9     3   NaN   221.0

En este conjunto de datos hay cuatro columnas y en dos de ellas ( age y amount) faltan registros. Registros que tienen un valor NaN. Nótese que solamente se han utilizado valores numéricos, esto es porque las clases de imputación no pueden trabajar con cadenas de texto.

Imputación básica en base a estadísticos

La clase más sencilla para realizar la imputación de valores nulos es SimpleImputer.Una clase con la que se puede imputar un mismo valor a todos los registros nulos de una columna. Valor que puede ser tanto un estadístico como la media, la mediana o la moda, como un valor constante que se indique. El método de cálculo se indica con la propiedad strategy que puede recibir como valor: mean, median, most_frequent o constant. En el caso de que el valor sea constant es necesario indicar mediante la propiedad fill_value.

Así se puede imputar por ejemplo los valores nulos en el conjunto de datos anterior utilizado el siguiente código.

from sklearn.impute import SimpleImputer

simple = SimpleImputer().fit(data)
mean = simple.transform(data)

    id  area        age      amount
0  1.0   1.0  32.000000  102.000000
1  2.0   2.0  30.000000  121.000000
2  3.0   3.0  35.142857  343.000000
3  4.0   1.0  23.000000  173.142857
4  5.0   2.0  27.000000  121.000000
5  6.0   3.0  44.000000  173.142857
6  7.0   1.0  67.000000  155.000000
7  8.0   2.0  23.000000  149.000000
8  9.0   3.0  35.142857  221.000000

Al no indicar ninguna propiedad, SimpleImputer utiliza la media para imputar los valores. Por lo que el valor empleado en la columna age es 35.14 y en la columna amount es 173.14.

Seleccionando la moda para imputar valores

En el caso de que queramos que el valor sea entero, como en el resto de los registros, una alternativa es usar la moda. Lo que se muestra en el siguiente ejemplo asignando a la propiedad strategy el valor most_frequent.

simple = SimpleImputer(strategy='most_frequent')
mode = simple.fit_transform(data)

    id  area   age  amount
0  1.0   1.0  32.0   102.0
1  2.0   2.0  30.0   121.0
2  3.0   3.0  23.0   343.0
3  4.0   1.0  23.0   121.0
4  5.0   2.0  27.0   121.0
5  6.0   3.0  44.0   121.0
6  7.0   1.0  67.0   155.0
7  8.0   2.0  23.0   149.0
8  9.0   3.0  23.0   221.0

Ahora el valor usado en la columna age es 23, mientras que para amount es 121.

Uso de k-vecinos para la imputación de valores nulos

El uso de un valor constante a la hora de realizar la imputación de valores nulos es una buena opción en muchas ocasiones. Pero en otras puede ser un problema ya que puede existir una gran variabilidad en los datos. Por eso se puede usar en su lugar un método como el de k-vecinos con el que se puede identificar los registros más similares al que presenta los valores nulos y asignarle la media de sus vecinos. Lo que posiblemente produzca un valor más parecido al real.

La clase que implementa este método es KNNImputer. A continuación, podemos ver que pasaría si asignamos a cada registro con un valor nulo el valor de su vecino más cercano. Lo que se puede conseguir indicando mediante la propiedad n_neighbors de la clase que solamente tenga en cuenta un vecino. Lo que se muestra en el siguiente ejemplo.

from sklearn.impute import KNNImputer

knn = KNNImputer(n_neighbors=1)
neighbors = knn.fit_transform(data)

    id  area   age  amount
0  1.0   1.0  32.0   102.0
1  2.0   2.0  30.0   121.0
2  3.0   3.0  23.0   343.0
3  4.0   1.0  23.0   343.0
4  5.0   2.0  27.0   121.0
5  6.0   3.0  44.0   343.0
6  7.0   1.0  67.0   155.0
7  8.0   2.0  23.0   149.0
8  9.0   3.0  44.0   221.0

Obviamente se puede aumentar el número de vecinos para obtener una mejor estimación de los valores.

knn = KNNImputer(n_neighbors=5)
neighbors = knn.fit_transform(data)

    id  area   age  amount
0  1.0   1.0  32.0   102.0
1  2.0   2.0  30.0   121.0
2  3.0   3.0  37.4   343.0
3  4.0   1.0  23.0   191.0
4  5.0   2.0  27.0   121.0
5  6.0   3.0  44.0   181.6
6  7.0   1.0  67.0   155.0
7  8.0   2.0  23.0   149.0
8  9.0   3.0  36.8   221.0

Conclusiones

En esta ocasión se han visto dos herramientas para la transformación de datos con los que se puede realizar la imputación de valores nulos en Python. Herramientas que podemos encontrar en Scikit-learn. Estas herramientas, a pesar de su sencillez, son de gran utilidad cuando tenemos que trabajar con conjuntos de datos que contiene valores nulos y no se pueden usar así para los análisis que necesitamos realizar.

Image by Gerd Altmann from Pixabay