hdf5

Pandas (VI)

Y mucho másEsto solo ha sido un pequeño vistazo con cosas que considero importantes pero que no tienen que ser las más importantes. Podéis echarle un ojo a: sort, max, min, head, tail, unique, groupby, apply, transform, stack, unstack, mean, std, isnull, value_counts, notnull, rank, dropna, fillna, describe, cov, corr,… Leer más »Pandas (VI)

Pandas (V)

Antes de nada, el contexto, para esta serie de entradas se va a usar lo siguiente: [crayon-5df2bb6235aae004001752/] Y sin más preámbulos seguimos con esta quinta parte de la serie. Unir (merge/join) Pandas dispone de la función merge (documentación oficial) que permite ‘unir’ datos al estilo de como se hace con… Leer más »Pandas (V)

Pandas (IV)

Antes de nada, el contexto, para esta serie de entradas se va a usar lo siguiente: [crayon-5df2bb6236564937363494/] Y sin más preámbulos seguimos con esta cuarta parte de la serie. Concatenando datos Para concatenar ficheros se usa la función pd.concat (documentación oficial]. Un ejemplo rápido sería el siguiente: [crayon-5df2bb623656a862385893/] Cuyo resultado… Leer más »Pandas (IV)

Pandas (III)

Antes de nada, el contexto, para esta serie de entradas se va a usar lo siguiente: [crayon-5df2bb6236afc295739152/]   Y sin más preámbulos seguimos con esta tercera parte de la serie. Trabajando con datos, indexación, selección,… ¿Cómo podemos seleccionar, añadir, eliminar, mover,…, columnas, filas,…? Para seleccionar una columna solo hemos de… Leer más »Pandas (III)

Pandas (I)

Antes de nada, el contexto, para esta serie de entradas se va a usar lo siguiente: [crayon-5df2bb6238021647949443/] Y sin más preámbulos… ¿Qué es Pandas? Pandas es una librería que proporciona estructuras de datos flexibles y permite trabajar con la información de forma eficiente (gran parte de Pandas está implementado usando… Leer más »Pandas (I)

Aprende (funcionalidad básica de) PyTables paso a paso (III)

En los anteriores capítulos vimos como crear una estructura básica para nuestro fichero h5 y como rellenar una tabla de datos. Ahora vamos a ver como volver a la tabla que ya rellenamos para añadir nuevos registros sin eliminar los anteriores. Modificar tablas existentes Podemos añadir datos a tablas existentes… Leer más »Aprende (funcionalidad básica de) PyTables paso a paso (III)

Aprende (funcionalidad básica de) PyTables paso a paso (I)

HDF5 El HDF5 (hierarchical dataset format, http://www.hdfgroup.org/HDF5/) es un formato que permite almacenar eficientemente grandes volúmenes de datos. Los datos se pueden almacenar de forma jerarquizada conjuntamente con metadatos. Es un formato portable que prácticamente no tiene límite en el tamaño de los datos. PyTables Pytables está programado sobre el… Leer más »Aprende (funcionalidad básica de) PyTables paso a paso (I)

¿Por qué usar netCDF?

Primero de todo empezaremos por el principio
¿Qué es netCDF?
Es un conjunto de librerías (o bibliotecas) y un formato de datos que son:

  • auto-descriptivo ya que incluye información acerca de los datos contenidos en el fichero netCDF
  • independiente de la plataforma
  • podemos acceder a un subconjunto de datos del fichero de forma eficiente
  • permite agregar datos a un fichero ya existente sin necesidad de copiar los datos ya existentes en el fichero
  • puede ser fácilmente compartido ya que una persona puede escribir mientras varias personas pueden leer el mismo fichero.
  • puede ser archivado ya que las versiones previas siempre estarán soportadas por las nuevas versiones

Su actual versión es la 4 y permite leer los ficheros creados con versiones anteriores de netCDF, como se ha comentado anteriormente.
Además es compatible con un subconjunto de HDF5 (del que hablaremos otro día, Francesc, ¿te animas como firma invitada?) pudiendo leer gran cantidad de ficheros en formato HDF5 pero no todos. HDF5 es capaz de abrir cualquier fichero creado con netCDF-4 (que es el modelo mejorado de datos que veremos a continuación). Es decir, un fichero netCDF-4 es un fichero HDF5 pero no a la inversa.
Es además un estándar para varias instituciones como la Open Geospatial Consortium.
¿Cuál es el formato de un fichero netCDF?
El formato no es único, existe un modelo clásico, más sencillo, y el modelo mejorado (llamado netCDF4), más complejo y completo.
Leer más »¿Por qué usar netCDF?