Pandas: Comprobar la existencia de valores en los DataFrame

En el caso de que necesitemos comprobar la existencia de valores en los DataFrame de Pandas disponemos de varias opciones. Siendo una de ellas el uso del operador in. Una opción sencilla que además es muy flexible. Otra alternativa es el uso de la propiedad isin() de los objetos DataFrame.

Conjunto de datos de ejemplo

Antes de continuar vamos a crear un pequeño conjunto de datos de ejemplo, de manera que se pueda comprobar fácilmente los resultados. Para ello se puede usar un conjunto que ya hemos usado en otras ocasiones como el siguiente listado de clientes.

import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, 41, 29, 29, 21, 33],
         'gender': ['Male', 'Female', 'Female', 'Male', 'Male', 'Female']}

df = pd.DataFrame(users)

Uso de in para comprobar la existencia de valores

Quizás la forma más sencilla para comprobar si un valor existe en un DataFrame de Pandas es mediante el uso del operador in de Python. Operador que se tiene que aplicar a la propiedad values del DataFrame, no al DataFrame o a una columna de este. Así para comprobar si en el conjunto de datos de ejemplo existe un nombre solamente se tiene que escribir el nombre seguido del operador in y, después de este, la propiedad values del DataFrame

'Alen' in df.values

Lo que, en este caso, nos devolverá un valor verdadero. Siendo importante no olvidar la necesidad de seleccionar values, ya que la siguiente línea devolverá siempre falso

'Alen' in df

A pesar de que "Alen" es un nombre que existe en el DataFrame de ejemplo.

De este modo se pueden comprobar tanto la existencia de cadenas de caracteres como valores numéricos. Lo que se puede comprobar en el siguiente ejemplo.

'Alen' in df.values # True
'John' in df.values # False
40 in df.values # False
41 in df.values # True

Comprobar la existencia de un valor solo en una columna

Como hemos visto en el apartado anterior el operador in realiza la búsqueda en todas las columnas del DataFrame. Pero, en muchas ocasiones, puede ser que solamente necesitamos saber si un valor existe en una columna, no en todas. Lo que tiene una solución sencilla, buscar en la propiedad value de la columna tal como se muestra en el siguiente ejemplo:

'Alen' in df.first_name.values # False
'Alen' in df.last_name.values # True

En el que se puede comprobar cómo el término "Alen" existe en el listado de nombres, pero no en el de apellidos. Al igual que antes es necesario recordar que no se debe buscar en la columna, ya que siempre devolvería el valor falso.

Usar not para comprobar que un valor no existe

Otra operación que suele ser habitual es comprobar que un valor no se encuentra en un DataFrame, lo que se puede conseguir agregando el operador not antes de in. Lo que funciona tanto a nivel global como a nivel de columna.

'Alen' not in df.values # False
'John' not in df.values # True
40 not in df.values # True
41 not in df.values # False

'Alen' in df.first_name.values # True
'Alen' in df.last_name.values # False

Buscar más de un elemento

Si necesitamos comprobar la existencia de más de un elemento en un DataFrame siempre se puede recurrir al uso de listas por comprensión. Lo que nos permite iterar sobre los elementos de una lista comprobando si cada uno de estos se encuentra en el DataFrame.

values = ['Alen', 'Home', 40, 41]
[True if item in df.values else False for item in values]

[True, False, False, True]

Lo que se puede combinar con las funciones any() o all() para comprobar si, respectivamente, existe alguno de los elementos o todos.

any([True if item in df.values else False for item in values]) # True
all([True if item in df.values else False for item in values]) # False

Alternativamente también se puede crear un diccionario con los resultados en el que el término sea la clave y el valor si este se encuentra o no en el DataFrame.

{item: True if item in df.values else False for item in values}

{'Alen': True, 'Home': False, 40: False, 41: True}

La propiedad isin() de los DataFrame

Los DataFrames de Pandas tienen una propiedad isin() con la que se puede comprobar la existencia o no de un valor o una lista de valores. Método que devuelve un DataFrame donde cada registro es un valor verdadero o falso, señalando de este modo si en esa posición se encontraba alguno de los valores buscados.

df.isin(['Alen', 41])

   first_name  last_name    age  gender
0       False      False  False   False
1       False      False   True   False
2       False      False  False   False
3       False       True  False   False
4       False      False  False   False
5       False      False  False   False

Este método tiene algunas ventajas ya que nos indica cada una de las posiciones, pero muchas veces no es lo que deseamos. Para saber si existe en una columnas se puede usar any().

df.isin(['Alen', 41]).any()

first_name    False
last_name      True
age            True
gender        False

Por otro lado, para saber si el valor se encuentra en el DataFrame se puede concatenar dos llamadas al método any().

df.isin(['Alen', 41]).any().any() # True

Uso de isin() en una columna

Al igual que con el uso del operador in es posible buscar solamente en una columna ya que el método también se encuentra disponible a este nivel. Así para buscar si un nombre existe en una columna se puede recurrir a un código como el siguiente.

df.last_name.isin(['Alen', 41])

0    False
1    False
2    False
3     True
4    False
5    False

Conclusiones

En esta entrada hemos visto dos métodos para comprobar la existencia de valores en los DataFrame de Pandas. Una operación que es bastante habitual. Tanto el uso del operador in cómo del método ison() facilita esta tareas frente a la búsqueda directa de los valores. Simplificando el código, lo que hace que este sea más fácil de leer y comprender lo que hace.