Eliminar características colineales con la matriz de correlación

En aprendizaje automático el uso de características colineales para el entrenamiento es un problema que puede afectar a la calidad de los modelos, especialmente en los lineales. Por lo que es necesario identificarlas y eliminarlas. Una de las razones para hacer esto es usar la matriz de correlación dado que la multicolinealidad se produce cuando dos o más características están altamente correlacionadas entre sí. Veamos cómo se pueden eliminar las características colineales con la matriz de correlación.

El problema de la colinealidad en los modelos de aprendizaje automático

La colinealidad (o multicolinealidad) aparece cuando dos o más de las características empleadas en un modelo de aprendizaje automático están altamente correlacionadas entre sí. Aportando de esta manera información redundante sobre la variable objetivo.

Al entrenar un modelo con características colineales los coeficientes pueden cambiar drásticamente al introducir o eliminar una característica. Algo que no es deseable. Cuando dos características aportan la misma información, el efecto sobre la variable objetivo se reparten en ambos coeficientes y los valores pueden llegar a ser contradictorios (mientras uno es positivo el otro puede ser negativo). Lo que se traduce en una serie de problemas:

1. Mayor inestabilidad del modelo: pequeños cambios en los datos pueden provocar grandes cambios en los resultados del modelo.
2. Menor interpretabilidad de los modelos: al ser los coeficientes inestables su interpretación es menos clara y se hace explicar por qué se produce un resultado.
3. Predicciones menos precisas: al ser la mayor la varianza de los parámetros las predicciones se hacen menos precisas.

Eliminar características colineales con la matriz de correlación

La matriz de correlación permite identificar fácilmente características altamente correlacionadas, las cuales pueden ser colineales. Siendo una herramienta perfecta para eliminar la colinealidad en los conjuntos de datos. Para ello solamente se tiene que calcular la matriz de correlación, definir un valor de correlación umbral y eliminar todas aquellas características que superen este valor. Manteniendo de este modo la información relevante y reduciendo la colinealidad.

Al encontrar características correlacionadas es importante no eliminar las dos. Para ello, dado que la matriz es simétrica, se puede emplear los valores de uno de los triángulos para seleccionar las características a eliminar. Así, si A y B están correlacionadas solo se eliminará una de ellas.

Implementación en Python

Antes de ver cómo se pueden eliminar las características colineales con la matriz de correlación en Python es necesario crear un conjunto de datos aleatorio. Lo que se puede hacer con el método make_regression() de Scikit-learn. Una vez generados los datos aleatorios la colinealidad se puede introducir mediante sumas o restas. Lo que se puede ver en el siguiente código.

from sklearn.datasets import make_regression

# Generar datos aleatorios con 5 características
X, y = make_regression(n_samples=100, n_features=5, noise=10, random_state=0)

# Añadir correlación adicional entre diferentes características
X[:,1] += X[:,2]*0.85
X[:,3] -= X[:,4]*0.85

Ahora, si se obtiene la matriz de correlación de este conjunto de datos es pude ver que la segunda característica está correlacionada con la tercera y la cuarta con la quinta.

import numpy as np

corr_matrix = np.corrcoef(X.T)
corr_matrix

array([[ 1.        ,  0.0170333 , -0.05223458, -0.0080103 , -0.09867828],
       [ 0.0170333 ,  1.        ,  0.6459848 ,  0.17433241, -0.05651469],
       [-0.05223458,  0.6459848 ,  1.        ,  0.17950178, -0.10507712],
       [-0.0080103 ,  0.17433241,  0.17950178,  1.        , -0.63960362],
       [-0.09867828, -0.05651469, -0.10507712, -0.63960362,  1.        ]])

Para seleccionar las características a eliminar solamente se tiene que obtener el triángulo superior de la matriz y obtener el máximo en cada una de las columnas. Eliminado aquellas que superen un valor umbral. Al usar solamente el triángulo superior de la matriz se evita que las dos características colineales se eliminen. Lo que en Python se puede conseguir con el siguiente código.

import numpy as np

threshold = 0.6

corr_matrix = np.corrcoef(X.T)
upper_tri = np.triu(np.abs(corr_matrix), k=1)

valid_cols = upper_tri.max(axis=0) < threshold

valid_cols

array([ True,  True, False,  True, False])

Código que al ejecutarse indica que se deben eliminar la tercera y quinta características.

Conclusiones

En esta entrada se ha visto cómo se puede identificar y eliminar las características colineales con la matriz de correlación. Un método alternativo al basado en VIF que se vio en una entrega anterior. La matriz de correlación es computacionalmente más eficiente que el VIF, debido a que solamente se tiene que calcular la matriz de correlación y no varios modelos de regresión. Por lo que puede ser una alternativa más rápida cuando se tiene grandes conjuntos de datos.