A la hora de analizar conjuntos de datos es habitual encontrarse con series temporales. En estas ocasiones suele ser interesante poder obtener de una forma rápida información estadística de los registros, como puede el número de ocurrencias por mes. En Python se encuentran disponibles diferentes herramientas para poder realizar la agrupación por fecha en pandas. Conocer el funcionamiento de estas herramientas permite realizar los análisis de una forma rápida y fácil.
Creación de un conjunto de datos de ejemplo
El primer lugar se ha de crear un conjunto de datos de ejemplo. Para ello se puede crear un vector con todos los días de 2018. Este conjunto de datos se puede añadir un valor aleatorio para cada uno de los días, por ejemplo, utilizando enteros entre 0 y 100. Una vez generados los dos vectores, estos se guardarán en dataframe en el que se guarde ambos y se le asigne la fecha como índice.
import datetime import numpy as np import pandas as pd df = pd.DataFrame() date = [datetime.datetime(2018, 1, 1) + datetime.timedelta(days=x) for x in range(0, 365)] value = list(np.random.randint(low=0, high=100, size=365)) df['date'] = pd.to_datetime(date) df.index = df['date'] df['value'] = value
Los primeros cinco registros de este dataframe son:
date value date 2018-01-01 2018-01-01 35 2018-01-02 2018-01-02 70 2018-01-03 2018-01-03 19 2018-01-04 2018-01-04 66 2018-01-05 2018-01-05 96
Agrupación por fecha en pandas de un dataframe
Ahora se puede utilizar el método resample() del dataframe para agrupar los registros y posteriormente obtener la suma de los registros. El método resample() requiere que se le indique un cómo realizar la agregación, entre las opciones más utilizadas se encuentran:
- D: Día natural
- B: Día hábil
- W: semanal (último día de la semana)
- M: mensual (último día del mes)
- SM: bimensual (el día 15 y último del mes)
- Q: trimestral (último día del trimestre)
El listado completo de las opciones disponibles se puede encontrar en la documentación de pandas ( http://pandas.pydata.org/pandas-docs/stable/timeseries.html). Por ejemplo, para obtener la media trimestral de los datos por trimestre se puede utilizar:
df.resample('Q').mean()
value date 2018-03-31 53.933333 2018-06-30 47.615385 2018-09-30 46.554348 2018-12-31 51.836957
Agrupación por fecha en pandas de utilizando groupby()
Un método alternativo a resample() para la agrupación por fecha es groupby(). En esta ocasión se ha de crear un valor sobre el que se puede agrupar a partir de la fecha. Para esto se pueden utilizar los métodos que se encuentran en los dt de los dataframe. Por ejemplo, para obtener el trimestre de las fechas de un dataframe se puede utilizar la instrucción
df['date'].dt.quarter
Gracias a esto se pueden obtener los mismos resultados que anteriormente.
df.groupby(df['date'].dt.quarter).mean()
value date 1 53.933333 2 47.615385 3 46.554348 4 51.836957
A partir de aquí se pueden representar los datos gráficamente utilizando el método plot().
Diferencias entre resample() y groupby()
Se ha de tener en cuenta que al utilizar resample() siempre se utiliza una fecha, mientras que al groupby() se utiliza un valor que se ha transformado previamente. Esta segunda opción ofrece más opciones, ya que se puede agrupar por mes independientemente del año. Por ejemplo, si se crea un nuevo conjunto de datos con dos años:
df = pd.DataFrame() date = [datetime.datetime(2018, 1, 1) + datetime.timedelta(days=x) for x in range(0, 730)] value = list(np.random.randint(low=0, high=100, size=730)) df['date'] = pd.to_datetime(date) df.index = df['date'] df['value'] = value
Utilizando resample() se obtiene
value date 2018-03-31 44.566667 2018-06-30 52.857143 2018-09-30 47.206522 2018-12-31 52.630435 2019-03-31 50.788889 2019-06-30 44.857143 2019-09-30 46.097826 2019-12-31 51.630435
Mientras que al utilizar groupby() se obtienen los siguientes resultados
value date 1 47.677778 2 48.857143 3 46.652174 4 52.130435
Conclusiones
En esta entrada se han visto dos métodos para agregar dataframes en función de la fecha. Esto permite obtener análisis estadísticos como puede ser la cantidad de ocurrencias, la media, el máximo, el mínimo, etc. El método seleccionado dependerá en cierta medida de los resultados que se deseen y las preferencias personales.