Mejorar el rendimiento en Jupyter con Cython

Cython es una librería de Python con la cual se puede aumentar fácilmente el rendimiento de nuestro código en más de un orden de magnitud. Lo que se puede conseguir incluso sin la necesidad de incluir cambios en el código. Anteriormente he escrito una entrada con los fundamentos de esta librería y cómo mejorar el rendimiento de los archivos py. En esta ocasión se explicará cómo se puede usar Cython para mejorar el rendimiento en Jupyter.

Instalación de Cython

Antes de trabajar con Cython es necesario asegurarnos que la librería se encuentra instalada en nuestro sistema. Para ello podemos intentar importar la librería un Notebook ejecutando el siguiente código

%load_ext Cython

En el caso de que lo tengamos instalado se importará sin generar ningún mensaje, en caso contrario fallará indicando que no encuentra un modulo llamada Cython. Si nos aparece este error solamente tendremos que ir a la terminal e instalar Cython mediante pip, lo que se puede conseguir mediante el comando

pip install cython

Uso de Cython en Jupyter

Una vez comprobado que tenemos instalado Cython en nuestro entorno de trabajo utilizarlo en un Notebook es algo tremendamente sencillo. Únicamente hay que importar la librería escribiendo el comando %load_ext Cython en una celda. De este modo se cargará el comando mágico %%cython que debemos incluir en cada una de las celdas que deseamos compilar con Cython. Así las funciones que se definan en las celdas donde se incluya este comando mejorarán considerablemente su rendimiento, aunque se usen en otras celdas sin este comando.

En ningún caso se debe utilizar import Cython para realizar la importación, ya que de este modo no se importaría el comando mágico %%cython.

Comparación de rendimiento con la función de Fibonacci

La función de Fibonacci ya la hemos usado en otras ocasiones para comprobar el rendimiento de Cython. En esta ocasión se puede crear una celda con el siguiente código

def fibonacci(n):
    if n < 2:
        return n
    else:
        return fibonacci(n-1) + fibonacci(n-2)

Posteriormente, en otra celda se escribe el comando mágico %%cython y copiamos el código anterior cambiando el nombre de la función.

%%cython

def fibonacci_cython(n):
    if n < 2:
        return n
    else:
        return fibonacci_cython(n-1) + fibonacci_cython(n-2)

Ahora se puede comprar cuánto tarda cada una de las funciones mediante el comando %%time. Así para la primera función se puede ver

%%time
fibonacci(40)

CPU times: user 29.8 s, sys: 170 ms, total: 30 s
Wall time: 30.4 s

102334155

Mientras que para fibonacci_cython se obtiene

%%time
fibonacci_cython(40)

CPU times: user 10.6 s, sys: 76.2 ms, total: 10.6 s
Wall time: 10.7 s

102334155

Pudiendo observar que la segunda función es tres veces más rápida que la primera. Usando en ambos casos el mismo código.

Mejoras indicando el tipo de dato

El simple hecho de usar el comando mágico %%cython ha hecho que el código sea tres veces más rápido, pero aún se puede mejorar más si se ayuda a Cython indicando los tipos de datos. Por ejemplo, en el caso de la función de Fibonacci tanto la entrada como la salida son número enteros, por lo que se puede reescribir la función de la siguiente manera.

%%cython

cpdef int fibonacci_def(int n):
    if n < 2:
        return n
    else:
        return fibonacci_def(n-1) + fibonacci_def(n-2)

Comprobando ahora el tiempo que necesita esta versión para obtener el mismo resultado.

%%time
fibonacci_def(40)

CPU times: user 515 ms, sys: 3.5 ms, total: 518 ms
Wall time: 522 ms

102334155

Lo que nos indica que hemos pasado de 30 segundos a 0.5, esto es un factor 60 respecto a la primera versión.

Conclusiones

Posiblemente una de las quejas que más escucho, y en muchas ocasiones hago, de Python es que es un lenguaje lento, pero esto es algo que se puede solucionar con librerías como Cython. En esta ocasión hemos visto cómo se puede integrar esta librería para mejorar el rendimiento en Jupyter.

Imagen de WikiImages en Pixabay