Identificar y eliminar columnas duplicadas en Pandas

En los DataFrames de Pandas existe el método duplicated() con el que se pueden eliminar los registros duplicados de un DataFrame. Pero no es así para el caso de las columnas duplicadas. De modo que, en el caso querer comprobar la existencia de columnas duplicadas en un DataFrame es necesario programar el proceso de forma manual. Lo mismo en el caso de querer eliminar esta información redundante.

Creación de un conjunto de datos

En primer lugar, es necesario crear un conjunto de datos con columnas duplicadas, para lo que se puede recurrir duplicar valores en uno de los conjuntos de datos empleados habitualmente en el blog. Lo que se muestra en las siguientes líneas de código.

import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, 41, 29, 29, 21, 33],
         'gender': ['Male', 'Female', 'Female', 'Male', 'Male', 'Female'],
         'years': [27, 41, 29, 29, 21, 33],
         'surname': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'sales': [12, 41, 29, 12, 21, 22],
         'time': [27, 41, 29, 29, 21, 33]}

df = pd.DataFrame(users)

   first_name  last_name  age  gender  years    surname  sales  time
0  Montgomery      Humes   27    Male     27      Humes     12    27
1      Dagmar     Elstow   41  Female     41     Elstow     41    41
2       Reeba  Wattisham   29  Female     29  Wattisham     29    29
3      Shalom       Alen   29    Male     29       Alen     12    29
4      Broddy  Keningham   21    Male     21  Keningham     21    21
5     Aurelia    Brechin   33  Female     33    Brechin     22    33

Obteniendo un objeto en el cual las columnas years, surname y time son copias de age y last_name.

Identificar columnas duplicadas en Pandas

Una forma de comprobar la existencia de columnas duplicadas en DataFrames de Pandas es iterando sobre estas y usar el método equals(). Método que indica si el contenido de dos series es idéntico. En el caso de que se observe una coincidencia, solamente se tendría que guardar el valor de columna duplicada para posteriormente llevar a cabo las acciones que sean necesarias, como puede ser su eliminación.

Lo que se puede conseguir mediante el siguiente código.

import numpy as np

duplicates = []


for col in range(df.shape[1]):
    contents = df.iloc[:, col]
    
    for comp in range(col + 1, df.shape[1]):
        if contents.equals(df.iloc[:, comp]):
            duplicates.append(comp)

duplicates = np.unique(duplicates).tolist()

[4, 5, 7]

En este código inicialmente se crea una lista vacía en la que se almacenarán los valores duplicados. Para obtener estos, en primer lugar, se iterar sobre todas las columnas del objeto, guardando en cada iteración el contenido en la variable contents. Ahora, en un segundo bucle, se itera sobre las columnas posteriores a la del primer bucle comprobando si el contenido de estas condice con el de la anterior. Usando para ello el método equals() de contents. En caso afirmativo, el contenido de la columna es el mismo, se agrega el contenido a la lista de duplicados.

Finalmente, mediante el uso de np.unique() se pueden eliminar las columnas que están duplicadas más de una vez. Algo que se observa en el conjunto de datos de ejemplo. Aunque este proceso no es necesario para posteriormente eliminar las columnas.

Eliminar columnas duplicadas en Pandas

Ahora que se dispone de un listado de las columnas duplicadas se puede emplear el método drop() de los DataFrames para eliminar las estas. Aunque, como ya se explicó en una entrada anterior, este método requiere que se indique el nombre de la columna, no su posición. Problema que se puede solucionar fácilmente obteniendo los nombres. Así, para eliminar las columnas duplicadas solamente se tendría que hacer.

df.drop(df.columns[duplicates], axis=1)

   first_name  last_name  age  gender  sales
0  Montgomery      Humes   27    Male     12
1      Dagmar     Elstow   41  Female     41
2       Reeba  Wattisham   29  Female     29
3      Shalom       Alen   29    Male     12
4      Broddy  Keningham   21    Male     21
5     Aurelia    Brechin   33  Female     22

Obteniendo un nuevo DataFrame sin la información redundante.

Uso de listas por comprensión

Las columnas duplicadas también se pueden obtener mediante listar por compresión. Aunque el código resultante es menos legible que el anterior. Pudiéndose obtener la lista de duplicados simplemente mediante la siguiente línea.

duplicates = [b for a in range(df.shape[1]) for b in range(a + 1, df.shape[1]) if df.iloc[:, a].equals(df.iloc[:, b])]
df.drop(df.columns[duplicates], axis=1)

Factorización del código

Es posible que usemos este código de forma habitual, por lo que es una buena idea crear unas funciones. Por ejemplo, se puede crear la función duplicated_columns() con la que se puedan identificar las columnas duplicadas en un DataFrame. Función en la que se pueden devolver los nombres o las posiciones de las columnas duplicadas. Otra función puede ser remove_duplicated_columns() mediante la cual se elimine los valores duplicados. Una implementación de esta función se puede ver en el siguiente código.

import numpy as np

def duplicated_columns(df, names=True):
    duplicates = []

    for col in range(df.shape[1]):
        for comp in range(col + 1, df.shape[1]):
            if df.iloc[:, col].equals(df.iloc[:, comp]):
                duplicates.append(comp)
    
    duplicates = np.unique(duplicates).tolist()
    
    if names:
        return df.columns[duplicates]
    else:
        return duplicates


def remove_duplicated_columns(df):
    duplicates = duplicated_columns(df)
    
    if len(duplicates) == 0:
        return df
    else:
        return df.drop(duplicates, axis=1)

Nótese que el método duplicated_columns() tiene una propiedad opcional names, cuyo valor por defecto es verdadero, para indicar si lo que se desea obtener es el nombre de columnas o las posiciones. Por lo que en la función remove_duplicated_columns ya no es necesario convertir los índices de en nombres a la hora de eliminar los datos.

Conclusiones

Aunque existe un método duplicated() para identificar las filas duplicadas de un DataFrame no es así para el caso de las columnas. En esta entrada hemos visto cómo se pueden identificar y eliminar columnas duplicadas en Pandas, para lo que incluso se han creado un par de funciones que pueden ser de interés en nuestro día a día.

Imagen de fotokrug en Pixabay