Uno de los paquetes que más me gustan del R Tidyverse es dplyr. Un paquete del que no recuerdo cuántos años llevo utilizando para procesar los conjuntos de datos en R. En esta entrada vamos a ver algunas operaciones básicas que se pueden realizar con las funciones de este paquete, para lo que utilizaremos la sintaxis que nos ofrece el operador de tubería (pipe) que vimos la semana pasada. Una sintaxis con la que hace el código más claro de leer.
El conjunto de datos
En esta ocasión vamos a usar el conjunto de datos diamonds del paquete ggplot2. Conjunto de datos que se importan al importar el paquete tidyverse. Un conjunto de datos que contiene diferente información de más de 50.000 diamantes. Los primeros registros de este conjunto de datos son:
A tibble: 6 x 10
carat cut color clarity depth table price x y z
1 0.23 Ideal E SI2 61.5 55 326 3.95 3.98 2.43
2 0.21 Premium E SI1 59.8 61 326 3.89 3.84 2.31
3 0.23 Good E VS1 56.9 65 327 4.05 4.07 2.31
4 0.290 Premium I VS2 62.4 58 334 4.2 4.23 2.63
5 0.31 Good J SI2 63.3 58 335 4.34 4.35 2.75
6 0.24 Very Good J VVS2 62.8 57 336 3.94 3.96 2.48
Obteniendo información con summarize()
La función summarize() de dplyr es una de las más utilizadas, ya que es la que permite crear nuevos conjuntos de datos que resumen el conjunto de datos original. La sintaxis es sencilla, simplemente se crean tantas propiedades como se desee y se le asigna operaciones que se realizan sobre las columnas del conjunto de datos original. Obtenido un nuevo conjunto de datos con una columna calculará para cada una de las propiedades.
Uno de los ejemplo más básicos que se pueden hacer con summarize() es crear la media de las diferentes columnas del conjunto de datos original. Como se muestra a continuación.
diamonds %>%
summarize(avg.x = mean(x),
avg.y = mean(y),
avg.z = mean(z),
avg.price = mean(price))
A tibble: 1 x 4
avg.x avg.y avg.z avg.price
1 5.73 5.73 3.54 3933.
En este ejemplo se han creado un conjunto de cuatro columnas con la media de las variables x, y, z y price del conjunto original.
Obtener los datos sobre un grupo con group_by() y ungroup()
Con el ejemplo anterior se obtienen pocas ventajas de usar dplyr, los resultados se podrían obtener ejecutando las funciones sobre las columnas del conjunto de datos original. Pero si lo combinamos con funciones como group_by() es cuando se empieza a ver la potencia de dplyr.
La función group_by() permite agrupar los datos de un conjunto de datos en base a una o más columnas. Agrupación que usarán el resto de funciones como summarize() para operar sobre el subconjunto de datos. Así se puede obtener la media del precio en base a una característica de los diamantes como puede ser el corte ( cut) simplemente usando el siguiente código.
diamonds %>%
group_by(cut) %>%
summarize(avg.price = mean(price),
min.price = min(price),
max.price = max(price)) %>%
ungroup()
A tibble: 5 x 4
cut avg.price min.price max.price
1 Fair 4359. 337 18574
2 Good 3929. 327 18788
3 Very Good 3982. 336 18818
4 Premium 4584. 326 18823
5 Ideal 3458. 326 18806
Con lo que se puede ver que en el conjunto de datos existen cuatro cortes y cuales son los precios de cada uno.
Es importante notar que al finalizar el trabajo con los datos agrupados es necesario eliminar esta agrupación empleando para ello la función ungroup().
Crear nuevas columnas con mutate()
La función summarize() permite crear un nuevo conjunto de datos, pero si lo que se desea es agregar datos a un conjunto existente se puede usar mutate(). Función que funciona de una manera similar a la anterior. Simplemente se le deben pasar las operaciones y esta en lugar de crear un conjunto de datos nuevo lo agregara al existente. Es algo que se puede ver si se reemplaza mutate() por summarize() en el código anterior.
diamonds %>%
group_by(cut) %>%
mutate(avg.price = mean(price),
min.price = min(price),
max.price = max(price)) %>%
ungroup()
A tibble: 53,940 x 13
carat cut color clarity depth table price x y z avg.price min.price max.price
1 0.23 Ideal E SI2 61.5 55 326 3.95 3.98 2.43 3458. 326 18806
2 0.21 Premium E SI1 59.8 61 326 3.89 3.84 2.31 4584. 326 18823
3 0.23 Good E VS1 56.9 65 327 4.05 4.07 2.31 3929. 327 18788
4 0.290 Premium I VS2 62.4 58 334 4.2 4.23 2.63 4584. 326 18823
5 0.31 Good J SI2 63.3 58 335 4.34 4.35 2.75 3929. 327 18788
6 0.24 Very Good J VVS2 62.8 57 336 3.94 3.96 2.48 3982. 336 18818
7 0.24 Very Good I VVS1 62.3 57 336 3.95 3.98 2.47 3982. 336 18818
8 0.26 Very Good H SI1 61.9 55 337 4.07 4.11 2.53 3982. 336 18818
9 0.22 Fair E VS2 65.1 61 337 3.87 3.78 2.49 4359. 337 18574
10 0.23 Very Good H VS1 59.4 61 338 4 4.05 2.39 3982. 336 18818
Filtrado de datos con filter()
Una operación habitual es el filtrado de datos, por ejemplo seleccionar solamente los registros en base a un precio mínimo. Lo que se puede conseguir con la función filter(). Una función a la que solamente se le debe pasar tantas condiciones como se deseen aplicar. Por ejemplo, se pueden seleccionar los registros con dos tipos de corte y un precio mínimo de 3000 con el siguiente código.
diamonds %>%
filter(cut %in% c("Fair", "Good"), price > 3000)
A tibble: 3,363 x 10
carat cut color clarity depth table price x y z
1 0.7 Good D VS1 63.6 60 3001 5.61 5.52 3.54
2 0.89 Good H SI2 63.3 59 3002 6.04 6.09 3.84
3 0.72 Good F VS1 63.8 58 3002 5.68 5.63 3.61
4 0.73 Fair F VS1 58.6 66 3002 5.92 5.88 3.46
5 1.01 Fair D SI2 64.6 56 3003 6.31 6.24 4.05
6 1.2 Fair J I1 64.9 59 3011 6.61 6.54 4.27
7 1.2 Fair I I1 62.2 66 3011 6.77 6.7 4.2
8 1.2 Fair I I1 66.2 55 3011 6.61 6.51 4.34
9 1 Fair E SI2 55.4 62 3011 6.63 6.59 3.66
10 0.9 Good G SI2 63.7 62 3014 6.07 6.01 3.85
Selección de registros con select()
En los conjuntos de datos puede ser que algunas columnas no sean necesarias para el análisis que se desea realizar. Para seleccionar el conjunto existe el método select() con el que se puede indicar las columnas a seleccionar o, alternativamente, las que se desean eliminar. La selección se realiza indicando estas como parámetros de la función, por ejemplo, para seleccionar cut, color y price se puede hacer
diamonds %>% select(cut, color, price) %>% head(5)
A tibble: 5 x 3
cut color price
1 Ideal E 326
2 Premium E 326
3 Good E 327
4 Premium I 334
5 Good J 335
Por otro lado, para eliminar columnas lo que se tiene que hacer es pasar estas precedidas del signo menos. Lo que para que se seleccionen todas menos estas.
diamonds %>% select(-clarity, -depth, -table) %>% head(5)
A tibble: 5 x 7
carat cut color price x y z
1 0.23 Ideal E 326 3.95 3.98 2.43
2 0.21 Premium E 326 3.89 3.84 2.31
3 0.23 Good E 327 4.05 4.07 2.31
4 0.290 Premium I 334 4.2 4.23 2.63
5 0.31 Good J 335 4.34 4.35 2.75
Puede notarse que en ambos casos se ha usado al final del proceso la función head() para mostrar únicamente los cinco primeros registros.
Ordenar los registros con arrange()
Ahora que se ha seleccionado un conjunto de datos se puede proceder a ordenar esos en base a una columna, para lo que se dispone de la función arrange(). Una función a la que los hay que pasarle las columnas o columnas por las que se desea ordenar.
diamonds %>% select(cut, color, price) %>% arrange(price) %>% head(5)
A tibble: 5 x 3
cut color price
1 Ideal E 326
2 Premium E 326
3 Good E 327
4 Premium I 334
5 Good J 335
Contar valores con count()
Finalmente otra función de interés es count(), con la que se puede contar el número de registros en base uno o varios criterios de agrupación. Por ejemplo, para ver el número de registro que existen en base al corte y color se puede usar el siguiente código.
diamonds %>% count(cut, color)
A tibble: 35 x 3
cut color n
1 Fair D 163
2 Fair E 224
3 Fair F 312
4 Fair G 314
5 Fair H 303
6 Fair I 175
7 Fair J 119
8 Good D 662
9 Good E 933
10 Good F 909
Conclusiones
Posiblemente uno de los paquetes más útiles de R es dplyr, con el que se puede realizar la gran mayoría de tareas requeridas durante el procesado de datos. Por lo que aprender a usarlo y adquirir práctica con él puede aumentar considerablemente nuestra productividad. Además, el uso del operador tubería hace que sea muy fácil de entender el código. Como, por ejemplo, el siguiente código.
diamonds %>% select(cut, color, price) %>% group_by(cut, color) %>% mutate(avg.price = mean(price)) %>% ungroup() %>% arrange(price)
Imagen de Remaztered Studio en Pixabay
Puzzle Bobble
Karate Blazers
Puzzle De Bloques
Magical Cat Adventure