Introducción al paquete dplyr del Tidyverse

Publicado el 24 febrero 2021 por Daniel Rodríguez @analyticslane

Uno de los paquetes que más me gustan del R Tidyverse es dplyr. Un paquete del que no recuerdo cuántos años llevo utilizando para procesar los conjuntos de datos en R. En esta entrada vamos a ver algunas operaciones básicas que se pueden realizar con las funciones de este paquete, para lo que utilizaremos la sintaxis que nos ofrece el operador de tubería (pipe) que vimos la semana pasada. Una sintaxis con la que hace el código más claro de leer.

El conjunto de datos

En esta ocasión vamos a usar el conjunto de datos diamonds del paquete ggplot2. Conjunto de datos que se importan al importar el paquete tidyverse. Un conjunto de datos que contiene diferente información de más de 50.000 diamantes. Los primeros registros de este conjunto de datos son:

A tibble: 6 x 10
 carat cut       color clarity depth table price     x     y     z
                  
 1 0.23  Ideal     E     SI2      61.5    55   326  3.95  3.98  2.43
 2 0.21  Premium   E     SI1      59.8    61   326  3.89  3.84  2.31
 3 0.23  Good      E     VS1      56.9    65   327  4.05  4.07  2.31
 4 0.290 Premium   I     VS2      62.4    58   334  4.2   4.23  2.63
 5 0.31  Good      J     SI2      63.3    58   335  4.34  4.35  2.75
 6 0.24  Very Good J     VVS2     62.8    57   336  3.94  3.96  2.48

Obteniendo información con summarize()

La función summarize() de dplyr es una de las más utilizadas, ya que es la que permite crear nuevos conjuntos de datos que resumen el conjunto de datos original. La sintaxis es sencilla, simplemente se crean tantas propiedades como se desee y se le asigna operaciones que se realizan sobre las columnas del conjunto de datos original. Obtenido un nuevo conjunto de datos con una columna calculará para cada una de las propiedades.

Uno de los ejemplo más básicos que se pueden hacer con summarize() es crear la media de las diferentes columnas del conjunto de datos original. Como se muestra a continuación.

diamonds %>% 
  summarize(avg.x = mean(x),
            avg.y = mean(y),
            avg.z = mean(z),
            avg.price = mean(price))
A tibble: 1 x 4
 avg.x avg.y avg.z avg.price
          
 1  5.73  5.73  3.54     3933.

En este ejemplo se han creado un conjunto de cuatro columnas con la media de las variables x, y, z y price del conjunto original.

Obtener los datos sobre un grupo con group_by() y ungroup()

Con el ejemplo anterior se obtienen pocas ventajas de usar dplyr, los resultados se podrían obtener ejecutando las funciones sobre las columnas del conjunto de datos original. Pero si lo combinamos con funciones como group_by() es cuando se empieza a ver la potencia de dplyr.

La función group_by() permite agrupar los datos de un conjunto de datos en base a una o más columnas. Agrupación que usarán el resto de funciones como summarize() para operar sobre el subconjunto de datos. Así se puede obtener la media del precio en base a una característica de los diamantes como puede ser el corte ( cut) simplemente usando el siguiente código.

diamonds %>% 
  group_by(cut) %>% 
  summarize(avg.price = mean(price),
            min.price = min(price),
            max.price = max(price)) %>% 
  ungroup()
A tibble: 5 x 4
 cut       avg.price min.price max.price
                    
 1 Fair          4359.       337     18574
 2 Good          3929.       327     18788
 3 Very Good     3982.       336     18818
 4 Premium       4584.       326     18823
 5 Ideal         3458.       326     18806

Con lo que se puede ver que en el conjunto de datos existen cuatro cortes y cuales son los precios de cada uno.

Es importante notar que al finalizar el trabajo con los datos agrupados es necesario eliminar esta agrupación empleando para ello la función ungroup().

Crear nuevas columnas con mutate()

La función summarize() permite crear un nuevo conjunto de datos, pero si lo que se desea es agregar datos a un conjunto existente se puede usar mutate(). Función que funciona de una manera similar a la anterior. Simplemente se le deben pasar las operaciones y esta en lugar de crear un conjunto de datos nuevo lo agregara al existente. Es algo que se puede ver si se reemplaza mutate() por summarize() en el código anterior.

diamonds %>% 
  group_by(cut) %>% 
  mutate(avg.price = mean(price),
         min.price = min(price),
         max.price = max(price)) %>% 
  ungroup()
A tibble: 53,940 x 13
 carat cut       color clarity depth table price     x     y     z avg.price min.price max.price
                                  
  1 0.23  Ideal     E     SI2      61.5    55   326  3.95  3.98  2.43     3458.       326     18806
  2 0.21  Premium   E     SI1      59.8    61   326  3.89  3.84  2.31     4584.       326     18823
  3 0.23  Good      E     VS1      56.9    65   327  4.05  4.07  2.31     3929.       327     18788
  4 0.290 Premium   I     VS2      62.4    58   334  4.2   4.23  2.63     4584.       326     18823
  5 0.31  Good      J     SI2      63.3    58   335  4.34  4.35  2.75     3929.       327     18788
  6 0.24  Very Good J     VVS2     62.8    57   336  3.94  3.96  2.48     3982.       336     18818
  7 0.24  Very Good I     VVS1     62.3    57   336  3.95  3.98  2.47     3982.       336     18818
  8 0.26  Very Good H     SI1      61.9    55   337  4.07  4.11  2.53     3982.       336     18818
  9 0.22  Fair      E     VS2      65.1    61   337  3.87  3.78  2.49     4359.       337     18574
 10 0.23  Very Good H     VS1      59.4    61   338  4     4.05  2.39     3982.       336     18818

Filtrado de datos con filter()

Una operación habitual es el filtrado de datos, por ejemplo seleccionar solamente los registros en base a un precio mínimo. Lo que se puede conseguir con la función filter(). Una función a la que solamente se le debe pasar tantas condiciones como se deseen aplicar. Por ejemplo, se pueden seleccionar los registros con dos tipos de corte y un precio mínimo de 3000 con el siguiente código.

diamonds %>% 
  filter(cut %in% c("Fair", "Good"), price > 3000)
A tibble: 3,363 x 10
 carat cut   color clarity depth table price     x     y     z
               
  1  0.7  Good  D     VS1      63.6    60  3001  5.61  5.52  3.54
  2  0.89 Good  H     SI2      63.3    59  3002  6.04  6.09  3.84
  3  0.72 Good  F     VS1      63.8    58  3002  5.68  5.63  3.61
  4  0.73 Fair  F     VS1      58.6    66  3002  5.92  5.88  3.46
  5  1.01 Fair  D     SI2      64.6    56  3003  6.31  6.24  4.05
  6  1.2  Fair  J     I1       64.9    59  3011  6.61  6.54  4.27
  7  1.2  Fair  I     I1       62.2    66  3011  6.77  6.7   4.2 
  8  1.2  Fair  I     I1       66.2    55  3011  6.61  6.51  4.34
  9  1    Fair  E     SI2      55.4    62  3011  6.63  6.59  3.66
 10  0.9  Good  G     SI2      63.7    62  3014  6.07  6.01  3.85

Selección de registros con select()

En los conjuntos de datos puede ser que algunas columnas no sean necesarias para el análisis que se desea realizar. Para seleccionar el conjunto existe el método select() con el que se puede indicar las columnas a seleccionar o, alternativamente, las que se desean eliminar. La selección se realiza indicando estas como parámetros de la función, por ejemplo, para seleccionar cut, color y price se puede hacer

diamonds %>% 
  select(cut, color, price) %>% 
  head(5)
A tibble: 5 x 3
 cut     color price
       
 1 Ideal   E       326
 2 Premium E       326
 3 Good    E       327
 4 Premium I       334
 5 Good    J       335

Por otro lado, para eliminar columnas lo que se tiene que hacer es pasar estas precedidas del signo menos. Lo que para que se seleccionen todas menos estas.

diamonds %>% 
  select(-clarity, -depth, -table) %>% 
  head(5)
A tibble: 5 x 7
 carat cut     color price     x     y     z
           
 1 0.23  Ideal   E       326  3.95  3.98  2.43
 2 0.21  Premium E       326  3.89  3.84  2.31
 3 0.23  Good    E       327  4.05  4.07  2.31
 4 0.290 Premium I       334  4.2   4.23  2.63
 5 0.31  Good    J       335  4.34  4.35  2.75

Puede notarse que en ambos casos se ha usado al final del proceso la función head() para mostrar únicamente los cinco primeros registros.

Ordenar los registros con arrange()

Ahora que se ha seleccionado un conjunto de datos se puede proceder a ordenar esos en base a una columna, para lo que se dispone de la función arrange(). Una función a la que los hay que pasarle las columnas o columnas por las que se desea ordenar.

diamonds %>% 
  select(cut, color, price) %>% 
  arrange(price) %>% 
  head(5)
A tibble: 5 x 3
 cut     color price
       
 1 Ideal   E       326
 2 Premium E       326
 3 Good    E       327
 4 Premium I       334
 5 Good    J       335

Contar valores con count()

Finalmente otra función de interés es count(), con la que se puede contar el número de registros en base uno o varios criterios de agrupación. Por ejemplo, para ver el número de registro que existen en base al corte y color se puede usar el siguiente código.

diamonds %>% 
  count(cut, color)
A tibble: 35 x 3
 cut   color     n
      
  1 Fair  D       163
  2 Fair  E       224
  3 Fair  F       312
  4 Fair  G       314
  5 Fair  H       303
  6 Fair  I       175
  7 Fair  J       119
  8 Good  D       662
  9 Good  E       933
 10 Good  F       909

Conclusiones

Posiblemente uno de los paquetes más útiles de R es dplyr, con el que se puede realizar la gran mayoría de tareas requeridas durante el procesado de datos. Por lo que aprender a usarlo y adquirir práctica con él puede aumentar considerablemente nuestra productividad. Además, el uso del operador tubería hace que sea muy fácil de entender el código. Como, por ejemplo, el siguiente código.

diamonds %>% 
  select(cut, color, price) %>% 
  group_by(cut, color) %>% 
  mutate(avg.price = mean(price)) %>%
  ungroup() %>%
  arrange(price)

Imagen de Remaztered Studio en Pixabay