Interpretación de las predicciones de los árboles de regresión y Random Forest

Una de las ventajas de usar árboles de regresión es su interpretabilidad. Cuando se crea un modelo a partir de un árbol de regresión no solamente se puede obtener una predicción para cada uno de los registros, sino que también es posible saber cuánto afecta cada una de las características usadas al resultado final. Aunque esto no se puede hacer directamente en Scikit-learn. Afortunadamente existe un paquete que facilita esta tarea, permitiendo obtener la interpretación de las predicciones de los árboles de regresión. El cual también se puede aplicar a los modelos de Random Forest

Instalación del paquete treeinterpreter

El paquete con el que se puede obtener una interpretación de las predicciones de los árboles de regresión se llama treeinterpreter. Como es habitual en Python, este se puede instalar a través de pip escribieron en la terminal el comando

pip install treeinterpreter

En el caso de trabajar con Conda también se puede instalar el paquete ejecutando en la terminal el siguiente comando

conda install -c conda-forge treeinterpreter

Una vez hecho esto el paquete quedará instalado en el ordenador.

Creación de un modelo con árboles de regresión

Ahora se puede crear un modelo para predecir el valor de la vivienda en California, para lo que se puede emplear el conjunto de datos que se incluye en Scikit-learn. Tras separar los datos en un conjunto de entrenamiento y otro de prueba se puede entrenar con estos un árbol de regresión. Lo que se puede hacer con el siguiente código.

from sklearn.datasets import fetch_california_housing
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split

california = fetch_california_housing()
x_train, x_test, y_train, y_test = train_test_split(california.data, california.target, random_state=0)
dt = DecisionTreeRegressor().fit(x_train, y_train)

# Predicción de los cinco primeros elementos de conjunto de prueba
dt.predict(x_test[0:5])

[1.246   2.518   1.308   0.708   5.00001]

Al final del código anterior se ha realizado una predicción del precio de la vivienda, expresado en cientos de miles de dólares, para los 5 primeros registros del conjunto de datos. Pero con el método predict() solamente se puede obtener el valor final, no lo que aporta cada una de las características. Problema que se puede solucionar con treeinterpreter.

Interpretación de las predicciones de los árboles de regresión

Una vez creado el modelo se puede importar treeinterpreter del paquete del mismo nombre y usar esta función para obtener la predicción, el bis, y las contribuciones de cada una de las características. Pudiendo crear un DataFrame con los resultados para verlos con mayor facilidad.

import pandas as pd
import numpy as np
from treeinterpreter import treeinterpreter as ti

prediction, bias, contributions = ti.predict(dt, x_test)

df = pd.DataFrame(np.column_stack((contributions, bias)),
                  columns=np.concatenate((california.feature_names, ['bias'])))
df.head()

     MedInc  HouseAge  AveRooms  AveBedrms  Population  AveOccup  Latitude  Longitude      bias  
0  0.062276 -0.110023 -0.044517  -0.095700    0.016388 -0.468421  0.091065  -0.287439  2.074373  
1  0.866956 -0.119359  0.000000  -0.184666   -0.120806 -0.130550  0.119658  -0.055606  2.074373  
2  0.170822 -0.112624 -0.121526   0.000000    0.017198 -0.346995 -0.468915   0.095667  2.074373  
3 -0.523670 -0.131000 -0.191098   0.053625    0.000000 -0.063267  0.415634  -0.926596  2.074373  
4  0.393451  0.309513  0.000000  -0.131560    0.000000  1.596019  0.758214   0.000000  2.074373

En este DataFrame cada una de las filas indica lo que aporta cada una de las variables al resultado final. Al incluir el bias es posible comprobar que la suma de las filas da el resultado final.

df.head().sum(axis=1)

[1.246   2.518   1.308   0.708   5.00001]

Lo que nos dice esta tabla es que para el primer registro la característica MedInc (ingreso medio en el bloque) aporta 0,0622 al resultado, mientras que (edad media de las casas en el bloque) reduce el valor en 0,0922. De este modo se puede saber cuáles son las características que aporta valor y cuáles restan en cada uno de los registros.

Interpretación de las predicciones de Random Forest

La función también se puede aplicar a modelos basados en Random Forest, al igual que el resto de los modelos basados en árboles de decisión que existen en Scikit-learn. Para ello solamente se tiene que cambiar la clase con la que se crea el modelo.

from sklearn.ensemble import RandomForestRegressor

rf = RandomForestRegressor().fit(x_train, y_train)

prediction, bias, contributions = ti.predict(rf, x_test)

df = pd.DataFrame(np.column_stack((contributions, bias)),
                  columns=np.concatenate((california.feature_names, ['bias'])))
df.head()

Conclusiones

En esta entrada se ha visto un paquete con el cual se pueden interpretar las predicciones de los modelos basados en árboles. Por lo que, además de las predicciones, se obtiene información útil para comprender los resultados. Con lo que se puede actuar sobre los registros para obtener mejores resultados.

Image by Valentin from Pixabay