CatBoost

CatBoost es un algoritmo de aprendizaje automático basado en potenciación del gradiente ("Gradient boosting") desarrollado por los investigadores de Yandex que es adecuado en múltiples aplicaciones. Actualmente se pueden encontrar paquetes para Python y R, siendo posible integrarlo fácilmente en los frameworks más populares de aprendizaje automático como TensorFlow.

CatBoost

El nombre CatBoost proviene de la unión de los términos "Category" y "Boosting". "Category" hace referencia al hecho de que la librería funciona perfectamente con múltiples categorías de datos, como audio, texto e imagen, incluidos datos históricos. Por otro lado, "Boosting" hace referencia al hecho de que el algoritmo se basa en la técnica en "Gradient boosting" (potenciación del gradiente). La potenciación del gradiente es una técnica que se aplica en múltiples tipos de problemas como la detección de fraude, motores de recomendaciones y predicciones. Además de obtener buenos resultados con relativamente menos datos los modelos de Deep Learning.

Los puntos fuertes de CatBoost son:

• Produce resultados excelentes con conjunto de datos relativamente más pequeños que otros métodos de aprendizaje automático.
• Trabaja automáticamente con características categóricas. Siendo posible usar tanto datos numéricos como categóricos con CatBoost sin realizar ningún procesado previo. CatBoost convierte valores categóricos en números utilizando diversas estadísticas sobre combinaciones de características categóricas y combinaciones de características categóricas y numéricas.
• Requiere configurar pocos hiperparámetros evitando la posibilidad de que aparezca sobreajuste. Obteniendo de esta manera modelos más generalizados.

Instalación de CatBoost

CatBoost se encuentra disponible en forma de paquete tanto para Python como R. En Python se puede instalar con pip, por lo que solamente es necesario escribir la siguiente línea en la terminal.

pip install catboost

Por otro lado, en R es necesario instalarlo desde el repositorio de GitHub con devtools. Siendo necesario en este caso ejecutar las siguientes líneas en R.

install.packages('devtools')
devtools::install_github('catboost/catboost', subdir = 'catboost/R-package')

La instalación en R es un poco más complicada, ya que requiere compilar el código, por lo que en los siguientes ejemplos se trabajara con Python. Aunque el uso en R es similar.

Creación de un modelo básico con CatBoost en Python

En Python la forma de trabajar con los clasificadores de CatBoost es similar a los de scikit-learn. Lo facilita enormemente la curva de aprendizaje de la librería. Por ejemplo, en el siguiente código se muestra cómo utilizar CatBoost para predecir el precio de la vivienda en Boston.

import numpy as np
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score
from catboost import CatBoostRegressor

# Importar datos de la vivenda en boston
boston_dataset = load_boston()

# Dividir los datos en entrenamietno y test
X_train, X_test, Y_train, Y_test = train_test_split(boston_dataset.data, boston_dataset.target, random_state=1)

# Creación del modelo
model = CatBoostRegressor(depth=2, silent=True)

# Entrenamiento del modelo
model.fit(X_train, Y_train)

# Prediciones
Y_train_pred = model.predict(X_train)
Y_test_pred = model.predict(X_test)

# Resultados 
print("Resultados en los datos de entrenamiento")
print('  RMSE: {}'.format(np.sqrt(mean_squared_error(Y_train, Y_train_pred))))
print('  R2: {}'.format(r2_score(Y_train, Y_train_pred)))
print('')
print("Resultados en los datos de validacion")
print('  RMSE: {}'.format(np.sqrt(mean_squared_error(Y_test, Y_test_pred))))
print('  R2: {}'.format(r2_score(Y_test, Y_test_pred)))

Resultados en los datos de entrenamiento
  RMSE: 2.9288358332601305
  R2: 0.8919270198374756

Resultados en los datos de validacion
  RMSE: 3.16074140918759
  R2: 0.8991475852895119

En el que se ha seguido un proceso estándar. Inicialmente se cargan los datos y se dividen en dos conjuntos, uno para entrenamiento y otro para validación. Posteriormente se crea el modelo y se entrena con el conjunto de entrenamiento. Finalmente se puede comprobar el error cuadrático medio y el R2 para los conjuntos de entrenamiento y test, observados valores de R2 en torno a 0,89 en ambos casos.

Los que trabajan habitualmente con scikit-learn que la forma de trabajar con los modelos es similar en ambas librerías. Pudiéndose utilizar el modelo de regresión lineal de scikit-learn simplemente cambiando el modelo.

from sklearn.linear_model import LinearRegression

# Creación del modelo
model = LinearRegression()

# Entrenamiento del modelo
model.fit(X_train, Y_train)

# Prediciones
Y_train_pred = model.predict(X_train)
Y_test_pred = model.predict(X_test)

# Resultados 
print("Resultados en los datos de entrenamiento")
print('  RMSE: {}'.format(np.sqrt(mean_squared_error(Y_train, Y_train_pred))))
print('  R2: {}'.format(r2_score(Y_train, Y_train_pred)))
print('')
print("Resultados en los datos de validacion")
print('  RMSE: {}'.format(np.sqrt(mean_squared_error(Y_test, Y_test_pred))))
print('  R2: {}'.format(r2_score(Y_test, Y_test_pred)))

Resultados en los datos de entrenamiento
  RMSE: 4.74109521333182
  R2: 0.7168057552393374

Resultados en los datos de validacion
  RMSE: 4.679504823808757
  R2: 0.7789410172622865

En el caso de la regresión lineal de scikit-learn el valor de R2 es de solamente 0,77. Lo que indica un modelo ligeramente peor.

Conclusiones

En esta entrada se ha visto la librería CatBoost para Python y se ha probado en un modelo de regresión. Al comparar los resultados obtenidos el modelo de regresión de CatBoost se puede observar un mayor rendimiento que con la regresión lineal.

Imágenes: Pixabay (bella67)