Pandas: Eliminar filas en base a sus valores con Pandas

Al trabajar con conjuntos de datos es posible que sea necesario eliminar algunas de las filas o columnas en base a los valores de estas. Seleccionado solamente aquellas cuyos valores cumplen alguna condición. Esto es algo que se puede conseguir fácilmente el Pandas gracias a las posibilidades que ofrecen el uso de vectores booleanos en loc. Pudiéndose construir estos vectores al aplicar condiciones a las filas o conjuntos de filas de un objeto DataFrame. Veamos a continuación como se puede eliminar filas en base a sus valores en los objetos DataFrame de Pandas.

Conjunto de datos de ejemplo

Para estudiar la forma de eliminar las filas o columnas de un DataFrame Pandas una opción es crear un pequeño conjunto aleatorio, para lo que se puede usar la función randint() de NumPy. Por ejemplo, una matriz de cinco por cinco con valores enteros entre 0 y 8.

import numpy as np
import pandas as pd

np.random.seed(0)

df = pd.DataFrame(np.random.randint(9, size=(5, 5)))
df

   0  1  2  3  4
0  5  0  3  3  7
1  3  5  2  4  7
2  6  8  8  1  6
3  7  7  8  1  5
4  8  4  3  0  3

Eliminar filas en base al valor de una columna

Supongamos que en el conjunto de datos generado en la sección anterior se desea eliminar las filas en las que algún registro es igual a cero. Valores que existen en la segunda y cuarta columnas del DataFrame. Para ello se puede crear un vector booleano que sea cierto cuando el valor en la segunda columna sea diferente de cero y falso en caso contrario. Esto es, un vector que se puede obtener con la siguiente expresión df[1] != 0. Ahora, si este vector se usa para filtrar los registros con loc es posible generar un nuevo DataFrame en el que se elimina los registros donde hay un 0 en la segunda columna

df.loc[df[1] != 0, :]

   0  1  2  3  4
1  3  5  2  4  7
2  6  8  8  1  6
3  7  7  8  1  5
4  8  4  3  0  3

Tal como se puede ver en el ejemplo en este caso se ha eliminado la primera fila.

Eliminar filas en base al valor de múltiples columnas

Si hay múltiples filas con 0, como es el caso del conjunto de datos de ejemplo, puede ser un poco tedioso repetir la operación anterior para cada una de las columnas. Además de la necesidad de saber en cuales hay ceros. Pero para solucionar problemas como estos es por lo que en los DataFrame Pandas existen los métodos any() o all() con los cuales es posible combinar estas operaciones por filas o columnas. De este modo, el problema se puede solucionar simplemente comprobando las columnas en las que todos los valores son diferentes de 0.

df.loc[(df != 0).all(axis=1), :]

   0  1  2  3  4
1  3  5  2  4  7
2  6  8  8  1  6
3  7  7  8  1  5

En este ejemplo ha sido necesario indicar que el método all() se debe aplicar por columnas, ya que por defecto, como en la mayoría de los métodos similares de Pandas, se aplica por filas. Obteniendo el resultado de una manera bastante sencilla.

Eliminar columnas en base a los valores de las filas

De manera análoga a lo visto hasta ahora, también es posible eliminar las columnas en base a los valores de una o todas las filas del conjunto de datos. La única diferencia es que el filtro se debe aplicar en el segundo elemento de loc. Así para eliminar las columnas en las hay un cero en la primera fila simplemente se debe escribir

df.loc[:, df.loc[0, :] != 0]

   0  2  3  4
0  5  3  3  7
1  3  2  4  7
2  6  8  1  6
3  7  8  1  5
4  8  3  0  3

Por otro lado, para hacerlo filtrando por todas las filas se debería escribir.

df.loc[:,(df != 0).all()]

   0  2  4
0  5  3  7
1  3  2  7
2  6  8  6
3  7  8  5
4  8  3  3

Conclusiones

En esta ocasión se ha visto cómo se pueden combinar los vectores booleanos y loc para eliminar filas o columnas en base a los valores de los registros. Una operación que, cuando se entiende, es bastante más sencilla de lo que parece. Además de ser muy útil, ya que los vectores booleanos se pueden crear en base a múltiples condiciones.