Seleccionar las mejores características para un modelo con Scikit-learn

Cuando trabajamos con conjuntos de datos es habitual que no todas las características sean significativas, por lo que incluirlas puede ser más perjudicial que beneficioso para un modelo de aprendizaje automático. Por eso es importante seleccionar las mejores características. En Scikit-learn existen varias herramientas para ello, siendo una de las más sencillas de utilizar SelectKBest (o su equivalente SelectPercentile). Veamos a continuación como se puede usar esta clase para seleccionar las mejores características de un modelo.

El problema de emplear todas las características disponibles en un modelo

Emplear todas las características disponibles, especialmente cuando algunas de ellas no son significativas, en un modelo de aprendizaje automático puede provocar la aparición de sobreajuste. Algo que es necesario evitar. Este efecto se puede comprobar fácilmente con un conjunto de datos en el que solamente una parte de las características sea informativa. El cual se puede generar fácilmente con la función make_regression. Así se puede crear por ejemplo un conjunto de datos con 500 muestras, 50 características, de las cuales solamente 5 son informativas y un ruido de 100.

from sklearn.datasets import make_regression

X, y = make_regression(n_samples=500, n_features=50, n_informative=5, noise=100, random_state=0)

Ahora, se puede dividir el conjunto de datos en dos, uno para entrenamiento y otro para validación, e intentar crear un modelo de regresión lineal.

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

regres = LinearRegression().fit(X_train, y_train)

print(f'Entrenamiento { regres.score(X_train, y_train) : .3f}')
print(f'Validación { regres.score(X_test, y_test) : .3f}')

Entrenamiento  0.773
Validación  0.611

Al comparar el rendimiento del modelo en entrenamiento y validación nos encontramos con un problema: el modelo sobreajuste. Algo que se puede ver en la gran diferencia de rendimiento que se observa en los conjuntos de datos de entrenamiento y validación.

Seleccionar las mejores características para un modelo

En este caso sabemos que el número de características informativas son 5, por lo que se puede utilizar SelectKBest para seleccionar únicamente estas. Esta es una clase que se encuentra en la parte de selección de características de ( feature_selection) de Scikit-learn con las que se puede seleccionar las k mejoras características de un conjunto de datos para un problema dado. Usando para ello una métrica de rendimiento que se le debe de indicar.

Para crear una instancia de SelectKBest es necesario indicar la métrica que se desea emplear para el problema y el número de características finales. Como métrica, generalmente se usa la función f_regression en los problemas de regresión y chi2 en los de clasificación. Así para seleccionar las 5 mejores características solamente se tiene que ejecutar el siguiente código.

from sklearn.feature_selection import SelectKBest, f_regression

selector = SelectKBest(f_regression, k=5)
best_train = selector.fit_transform(X_train, y_train)
best_test = selector.transform(X_test)

regres = LinearRegression().fit(best_train, y_train)

print(f'Entrenamiento { regres.score(best_train, y_train) : .3f}')
print(f'Validación { regres.score(best_test, y_test) : .3f}')

Entrenamiento  0.736
Validación  0.715

Al igual que la mayoría de las clases, es necesario ajustarla con los datos de entrenamiento. Para lo que se puede usar fit o, como en el ejemplo, fit_transform para ajustar y transformar el conjunto de datos original en un único paso. Una vez hecho esto, se puede transformar cualquier otro conjunto de datos similar mediante la propiedad el método transform().

En este caso, cuando solamente se han usado las 5 características informativas, se puede ver que el modelo obtenido no padece de sobreajuste. Ahora el rendimiento en los conjuntos de entrenamiento y test son similares.

Identificar las características seleccionadas

Las características seleccionadas se pueden obtener gracias al método get_support(), el cual nos devolverá un vector de valores lógicos indicando True en las columnas seleccionadas y False en las que se omite. Así en nuestro caso

selector.get_support()

array([False, False, False, False, False, False, False,  True, False,
       False, False, False, False, False, False, False,  True, False,
       False, False, False, False, False, False, False, False, False,
       False,  True, False, False, False, False, False, False,  True,
       False, False,  True, False, False, False, False, False, False,
       False, False, False, False, False])

Por otro lado, la posición de las columnas se pueden obtener fácilmente gracias al la función where() de NumPy.

import numpy as np

np.where(selector.get_support())

(array([ 7, 16, 28, 35, 38]),)

Seleccionar las caracterizas cuando no se conoce la cantidad a priori

En el ejemplo anterior se ha creado un conjunto de datos con 5 características informativas, por lo que se sabía la cantidad de estas que debían seleccionarse. Pero en los conjuntos de datos reales no se tiene esta información. Para solucionar este problema se puede recurrir a la validación cruzada, por ejemplo, a la clase GridSearchCV, empleando tuberías para crear un clasificador que incluya la selección de características. Por ejemplo, con el siguiente código se puede obtener el número de caracterizas sin necesidad de conocerlo a priori.

from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV

pipe = Pipeline([('kbest', SelectKBest(f_regression)),
                 ('lineal', LinearRegression())])

grid = GridSearchCV(pipe, {'kbest__k': range(1,20)}, cv=3)
grid.fit(X, y)

grid.best_params_

{'kbest__k': 5}

En el que se ha creado una tubería en la que en primer lugar se seleccionan las características y posteriormente se crea un modelo de regresión lineal con esta. Mediante GridSearchCV se prueba diferentes opciones para el hiperparámetro k de SelectKBest obteniendo como resultado que el número es 5. Confirmado que el método permite obtener el resultado en un caso real.

Conclusiones

En esta entrada se ha visto como se puede utilizar la clase SelectKBest para seleccionar las mejores características para un modelo con Scikit-learn. Un método que es bastante útil para seleccionar las mejoras características para nuestro modelo.

Alternativamente existe la clase SelectPercentile que permite realizar la misma tareas, pero indicando el porcentaje de caracterizas a incluir, no el número exacto. La cual se puede usar para hacer exactamente la misma selección de características. Siendo más una preferencia personal usar una u otra.

Imagen de Arek Socha en Pixabay