En la entrada anterior hemos visto cómo trabajar con las columnas de un DataFrame, en esta ocasión vamos a ver cómo manejar las filas en DataFrames de Julia.
Creación de un conjunto de datos
Para poder acceder a las filas de un DataFrame es necesario tener uno en la sesión de Julia. Debido a que, en esta ocasión, los datos concretos no son importantes, vamos a crear un conjunto de datos aleatorios para trabajar con ellos. Lo haremos con el siguiente código en el que generamos un DataFrame de tres columnas y cuatro filas.
using DataFrames using Random using StatsBase Random.seed!(1) df = DataFrame(rand(Int8, 4, 3))
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -82 │ 53 │ 82 │ │ 2 │ -126 │ -18 │ -77 │ │ 3 │ 103 │ -62 │ 92 │ │ 4 │ -63 │ -69 │ 100 │
Nótese que en este caso se ha fijado la semilla del generador de números aleatorios, por lo que los valores obtenidos serán siempre los mismos.
Acceso a las filas en DataFrames de Julia
Para acceder a un elemento de un DataFrame solamente es necesario indicar entre corchetes el número de la fila seguido de la columna. En el caso de querer acceder a un fila se tiene que indicar todas las columna mediante el los dos puntos (:). En este caso no es posible usar admiración (!) para crear un enlace como sí sucede en el caso de las columnas. Un enlace a las filas se puede conseguir creando una vista, método que explicaremos más adelante. Obteniendo un error de ejecución en el caso de que se intente. Por ejemplo, para acceder a la primera fila del DataFrame se puede hacer con el siguiente código.
df[1, :]
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -82 │ 53 │ 82 │
Algo que también se puede hacer con más de una fila. Por ejemplo, para obtener filas impares del conjunto de datos.
df[1:2:end, :]
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -82 │ 53 │ 82 │ │ 2 │ 103 │ -62 │ 92 │
También es posible seleccionar tanto un subconjunto de filas como de las columnas indicando ambas.
df[2:3, 2:3]
│ Row │ x2 │ x3 │ │ │ Int8 │ Int8 │ ├─────┼──────┼──────┤ │ 1 │ -18 │ -77 │ │ 2 │ -62 │ 92 │
En este ejemplo se puede ver que si se seleccionan elementos de un DataFrame en Julia el número original de la fila no se conserva en el nuevo objeto. A diferencia de lo que sucede en los objetos Pandas de Python.
Crea un enlace a las filas con las vistas
Como se ha explicado solamente no es posible utilizar ! para indicar que se cree una enlace al DataFrame original. Pero, cuando se trabaja con grandes DataFrames puede ser un problema crear copias para trabajar con subconjuntos de datos. Por lo que existe la función view() para crear vistas a un DataFrame. Evitando de este modo duplicar datos en memoria. Además, en caso de modificar los valores en una vista afectará tanto a la vista como el objeto original. Las vistas permiten acceder en todo momento al objeto padre mediante la función parent() y consultar los índices a los que hace referencia mediante parentindices().
vdf = view(df, 2:3, 2:3) vdf parent(vdf) parentindices(vdf)
2×2 SubDataFrame │ Row │ x2 │ x3 │ │ │ Int8 │ Int8 │ ├─────┼──────┼──────┤ │ 1 │ -18 │ -77 │ │ 2 │ -62 │ 92 │ 4×3 DataFrame │ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -82 │ 53 │ 82 │ │ 2 │ -126 │ -18 │ -77 │ │ 3 │ 103 │ -62 │ 92 │ │ 4 │ -63 │ -69 │ 100 │ (2:3, 2:3)
Ordenar los datos de un DataFrame
Si tenemos un conjunto de datos en un DataFrame se puede ordenar las filas en base a los valores de una columna. Para comprobar esto se puede crear un DataFrame con una columna id, una segunda columna con valores aleatorios y otra con un conjunto de enteros aleatorios.
df = DataFrame(id=1:10, value=rand(10), number=sample(1:3,10))
10×3 DataFrame │ Row │ id │ value │ number │ │ │ Int64 │ Float64 │ Int64 │ ├─────┼───────┼───────────┼────────┤ │ 1 │ 1 │ 0.424718 │ 3 │ │ 2 │ 2 │ 0.773223 │ 3 │ │ 3 │ 3 │ 0.28119 │ 3 │ │ 4 │ 4 │ 0.209472 │ 1 │ │ 5 │ 5 │ 0.251379 │ 2 │ │ 6 │ 6 │ 0.0203749 │ 2 │ │ 7 │ 7 │ 0.287702 │ 2 │ │ 8 │ 8 │ 0.859512 │ 2 │ │ 9 │ 9 │ 0.0769509 │ 3 │ │ 10 │ 10 │ 0.640396 │ 3 │
Para comprobar si un DataFrame está ordenado se puede usar la función issorted(), el cual comprobará los valores de la primera columna. Si se desea comprobar si otra columna está ordenada es necesario indicarlo explícitamente. Así, en nuestro ejemplo, se puede comprobar que el identificador está ordenado, pero no los valores.
issorted(df) # true issorted(df, :value) # false
La ordenación por una columna se puede hacer con la función sort(), indicando como segundo parámetro la columna.
sort!(df, :value)
│ Row │ id │ value │ number │ │ │ Int64 │ Float64 │ Int64 │ ├─────┼───────┼───────────┼────────┤ │ 1 │ 6 │ 0.0203749 │ 2 │ │ 2 │ 9 │ 0.0769509 │ 3 │ │ 3 │ 4 │ 0.209472 │ 1 │ │ 4 │ 5 │ 0.251379 │ 2 │ │ 5 │ 3 │ 0.28119 │ 3 │ │ 6 │ 7 │ 0.287702 │ 2 │ │ 7 │ 1 │ 0.424718 │ 3 │ │ 8 │ 10 │ 0.640396 │ 3 │ │ 9 │ 2 │ 0.773223 │ 3 │ │ 10 │ 8 │ 0.859512 │ 2 │
Pudiéndose comprobar ahora los resultados.
issorted(df) # false issorted(df, :value) # true
Por ejemplo, la ordenación se ha hecho en orden ascendente. Pero, si se desea ordenar los valores en orden descendente es posible indicarlo asignando el valor verdadero a la propiedad rev de la función sort().
sort!(df, :value, rev=true)
│ Row │ id │ value │ number │ │ │ Int64 │ Float64 │ Int64 │ ├─────┼───────┼───────────┼────────┤ │ 1 │ 8 │ 0.859512 │ 2 │ │ 2 │ 2 │ 0.773223 │ 3 │ │ 3 │ 10 │ 0.640396 │ 3 │ │ 4 │ 1 │ 0.424718 │ 3 │ │ 5 │ 7 │ 0.287702 │ 2 │ │ 6 │ 3 │ 0.28119 │ 3 │ │ 7 │ 5 │ 0.251379 │ 2 │ │ 8 │ 4 │ 0.209472 │ 1 │ │ 9 │ 9 │ 0.0769509 │ 3 │ │ 10 │ 6 │ 0.0203749 │ 2 │
Ahora para comprobar si el conjunto de datos está ordenado es necesario asignar también el valor verdadero a la propiedad rev en la función sort().
issorted(df) # false issorted(df, :value) # false issorted(df, :value, rev=true) #true
Finalmente, si queremos ordenar en base a dos los valores de varias columnas se puede hacer indicando estas en un vector. Ordenado en primer lugar por primera columnas y después por el resto. Así para ordenar por los valores de columna number y, para las filas que tienen el mismo, ordenar posteriormente en base a los valores de la columna value se puede escribir.
sort!(df, [:number, :value])
│ Row │ id │ value │ number │ │ │ Int64 │ Float64 │ Int64 │ ├─────┼───────┼───────────┼────────┤ │ 1 │ 4 │ 0.209472 │ 1 │ │ 2 │ 6 │ 0.0203749 │ 2 │ │ 3 │ 5 │ 0.251379 │ 2 │ │ 4 │ 7 │ 0.287702 │ 2 │ │ 5 │ 8 │ 0.859512 │ 2 │ │ 6 │ 9 │ 0.0769509 │ 3 │ │ 7 │ 3 │ 0.28119 │ 3 │ │ 8 │ 1 │ 0.424718 │ 3 │ │ 9 │ 10 │ 0.640396 │ 3 │ │ 10 │ 2 │ 0.773223 │ 3 │
Pudiendo comprobar en este caso que las columnas están ordenadas tal como se ha indicado.
issorted(df) # false issorted(df, :value) # false issorted(df, :number) # true
Concatenar filas en DataFrames de Julia
Para concatenar las filas de varios DataFrames se puede usar la función vcat() o simplemente escribir los objetos entre corchetes separados por punto y coma.
df = DataFrame(rand(Int8, 4, 3)) [df; df] vcat(df,df)
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -30 │ 127 │ 22 │ │ 2 │ -108 │ 121 │ 120 │ │ 3 │ -105 │ 61 │ -54 │ │ 4 │ 73 │ 16 │ 70 │ │ 5 │ -30 │ 127 │ 22 │ │ 6 │ -108 │ 121 │ 120 │ │ 7 │ -105 │ 61 │ -54 │ │ 8 │ 73 │ 16 │ 70 │
Algo que funciona, aunque el orden de las columnas no sea el mismo en los DataFrames a combinar. Conservando en tal caso el orden del primero que se indique.
rdf = df[:, reverse(names(df))] [rdf; df]
│ Row │ x3 │ x2 │ x1 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ 22 │ 127 │ -30 │ │ 2 │ 120 │ 121 │ -108 │ │ 3 │ -54 │ 61 │ -105 │ │ 4 │ 70 │ 16 │ 73 │ │ 5 │ 22 │ 127 │ -30 │ │ 6 │ 120 │ 121 │ -108 │ │ 7 │ -54 │ 61 │ -105 │ │ 8 │ 70 │ 16 │ 73 │
Pudiéndose concatenar solamente algunas filas de cada DataFrame.
vcat(df[1:2,:], df[3:-1:2,:])
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -30 │ 127 │ 22 │ │ 2 │ -108 │ 121 │ 120 │ │ 3 │ -105 │ 61 │ -54 │ │ 4 │ -108 │ 121 │ 120 │
Si se desea concatenar dos DataFrames y guardar los cambios en el objeto original se puede usar la función append!() en lugar de vcat(). Evitando guardar varias copias en memoria.
append!(df, rdf) df
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -30 │ 127 │ 22 │ │ 2 │ -108 │ 121 │ 120 │ │ 3 │ -105 │ 61 │ -54 │ │ 4 │ 73 │ 16 │ 70 │ │ 5 │ -30 │ 127 │ 22 │ │ 6 │ -108 │ 121 │ 120 │ │ 7 │ -105 │ 61 │ -54 │ │ 8 │ 73 │ 16 │ 70 │
También se puede repetir los mismo datos tantas veces como sea necesario con la función repeat().
repeat(rdf, 2)
│ Row │ x3 │ x2 │ x1 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ 22 │ 127 │ -30 │ │ 2 │ 120 │ 121 │ -108 │ │ 3 │ -54 │ 61 │ -105 │ │ 4 │ 70 │ 16 │ 73 │
Finalmente, para agregar solo una fila se puede usar la función push!(). Función que modifica el DataFrame original. Los datos pueden indicar tanto mediante un vector como un diccionario, en donde las claves del diccionario tienen que ser el identificador de las columnas.
push!(df, 1:3) push!(df, Dict(:x1=> 10, :x2=> 11, :x3=> 12))
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -30 │ 127 │ 22 │ │ 2 │ -108 │ 121 │ 120 │ │ 3 │ -105 │ 61 │ -54 │ │ 4 │ 73 │ 16 │ 70 │ │ 5 │ -30 │ 127 │ 22 │ │ 6 │ -108 │ 121 │ 120 │ │ 7 │ -105 │ 61 │ -54 │ │ 8 │ 73 │ 16 │ 70 │ │ 9 │ 1 │ 2 │ 3 │ │ 10 │ 10 │ 11 │ 12 │
Borrar filas en DataFrames de Julia
La eliminación de las filas de un DataFrame se puede realizar con la función delete!(). Una función que modifica el objeto original y solamente necesita la posición de la fila o filas a eliminar.
delete!(df, 7) # Borrado de la fila 7 delete!(df, 1:5) # Borrado de la fila 1 a 5
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -108 │ 121 │ 120 │ │ 2 │ 73 │ 16 │ 70 │ │ 3 │ 1 │ 2 │ 3 │ │ 4 │ 10 │ 11 │ 12 │
Aunque también se puede conseguir los mismos usando Not() a la hora de seleccionar elementos, sin modificar en este caso el objeto original.
df[Not(1:2), :]
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ 1 │ 2 │ 3 │ │ 2 │ 10 │ 11 │ 12 │
Filtrado de registros
Una operación habitual en los conjuntos de datos es seleccionar solamente los registros que cumplen una o varias condiciones. Algo que en los DataFrame de Julia se puede conseguir mediante la función filter(). Función que requiere como entrada la condición a aplicar y el objeto sobre el que se aplica. Por ejemplo, se pueden seleccionar las filas que contengan en la columna x1 los valores 1 o 10.
filter(row -> row.x1 in [1, 10], df)
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ 1 │ 2 │ 3 │ │ 2 │ 10 │ 11 │ 12 │
Algo que se puede conseguir también con in.(), indicado para ellos la columna y los valores que se desean filtrar. El mismo resultado que el ejemplo anterior se puede conseguir con el siguiente código.
df[in.(df.x1, Ref([1,10])), :]
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ 1 │ 2 │ 3 │ │ 2 │ 10 │ 11 │ 12 │
Selección de valores únicos
Otra operación muy habitual a la hora de trabajar con conjuntos de datos es la identificación de valores únicos. Por fortuna en Julia contamos con la función unique(), permitiéndonos seleccionar los valores únicos de un conjunto de datos.
append!(df, df) unique(df, :x1)
│ Row │ x1 │ x2 │ x3 │ │ │ Int8 │ Int8 │ Int8 │ ├─────┼──────┼──────┼──────┤ │ 1 │ -108 │ 121 │ 120 │ │ 2 │ 73 │ 16 │ 70 │ │ 3 │ 1 │ 2 │ 3 │ │ 4 │ 10 │ 11 │ 12 │
Para ver qué filas tienen los valores duplicados se puede recurrir a nonunique().
nonunique(df, :x1)
8-element Array{Bool,1}:
0
0
0
0
1
1
1
1
Una herramienta poderosa
En esta entrada hemos visto cómo manejar las filas en los DataFrames de Julia, lo que nos confirma, junto a la entrada anterior en las que tratamos las columnas, lo fácil que es procesar grandes conjuntos de datos con esta herramienta. En la próxima entrada veremos cruzar los valores de varios DataFrames, para combinar la información de ambos.
Publicidad
Puzzle Bobble
Karate Blazers
Puzzle De Bloques
Magical Cat Adventure