Big Data. La fuente para el conocimiento en el siglo XXI

Por José López Ponce 

Rizomática 

Desde hace un cierto tiempo, el término Big Data está adquiriendo una cierta notoriedad en la Red y en sector profesional de las TIC. Es un término para designar los masivos volúmenes de datos, tanto estructurados como no estructurados, que se están generando en la Sociedad de la Información y el Conocimiento y que, por su tamaño y heterogeneidad, plantean grandes dificultades para ser procesados por el software y los sistemas de gestión de bases de datos tradicionales.

Según McKinsey, Big Data representa una nueva frontera para la innovación, la competitividad y la productividad. Podríamos afirmar que la predicción de McKinsey no es nada original ya que evidencia la riqueza, sin explotar todavía, de información y conocimiento que puede aportar el inmenso volumen de datos y contenidos de todo tipo que se está acumulando gracias a las TIC:

En general los textos, documentos, fotografías y vídeos que circulan por Internet; los grafos sociales (social networks); los contenidos sociales aportados por los usuarios (social data); los datos de las redes de sensores y los RFID; los registros de las actividades de los sitios Web y la indexación de las búsquedas en Internet; la información científica en temas como la astronomía, meteorología, genómica, bioquímica, biológica y otros datos complejos de la investigación científica interdisciplinaria; los registros médicos; la vigilancia militar y policial; los datos generados por las administraciones públicas (open data); los datos de las transacciones en los mercados financieros; o los datos de la actividad relacionada con el comercio electrónico, entre otros.

Asimismo, el tratamiento de los grandes volúmenes de datos y contenidos plantea nuevos retos tecnológicos para procesarlos de forma eficiente en un tiempo razonable.

Esto va a requerir avanzar en las tecnologías para el procesamiento paralelo masivo de bases de datos (MPP); en la computación en la nube (Cloud computing); en los sistemas escalables de almacenamiento; y en otros campos relacionados con los sistemas de archivos y bases de datos distribuidas o en los sistemas de minería de datos (Data mining). Sin olvidar otras cuestiones de gran calado que pueden afectar la privacidad de las personas como son los criterios éticos y la protección de los datos personales en la explotación y cruce de los datos de diferentes fuentes.

Lo que es cierto es que el Big Data, abre nuevos horizontes para el conocimiento, nunca jamás imaginado y una fuente de innovación hasta ahora desconocida.

Erik Brynjolfsson, economista de la Sloan School of Management y responsable del grupo de Productividad digital en el Massachusetts Institute of Technology y Andrew McAfee), en un artículo publicado hace unos días en la revista The Atlantic, The Big Data Boom Is the Innovation Story of Our Time, para señalar la importancia del Big Data recurren a la siguiente historia (traducción libre del ingles):

“En 1670, en Delfos, Holanda, un científico llamado Anton van Leeuwenhoek hizo algo que muchos científicos llevaban haciendo desde hacía 100 años. Construyó un microscopio. Este microscopio era diferente de los otros, pero no tenía nada de extraordinario. Al igual que muchos inventores, que se había basado en el ingenio de sus predecesores. Pero cuando miró a través de su microscopio, encontró cosas que le parecieron extraordinarias. Las denominó “animálculos”… Eran de los microbios que estaban en las gotas de agua o en la sangre humana y que fueron el origen de la teoría de la microbiología que inspiró a muchos tratamientos médicos.

Es cierto, “el descubrimiento de Leewenhoek fue crucial para nuestra comprensión de la innovación, no sólo porque cambió la faz de la bioquímica, sino también porque representa un paradigma fundamental en el descubrimiento: los avances en la innovación a menudo se basan en los avances en la medición (yo añadiría en el cambio de dimensión en la observación y el análisis).”

Brynjolfsson y McAfee ponen el énfasis en la oportunidad que tienen las empresas de medir su actividad y su relación con los clientes con una precisión sin precedentes, sobre todo en la economía digital, donde los clics ofrecen unas perspectivas muy precisas y en tiempo real sobre el comportamiento del consumidor. A cambio, los consumidores están actuando como consultores involuntarios de las empresas. Porque nuestras compras, nuestras búsquedas y nuestra actividad online son trazas para mejorar los procesos.

Asimismo, señalan el potencial de la reality mining (la minería de la realidad) para analizar los miles de millones de datos que están generando la actividad de las personas y los dispositivos en las redes facilitando la toma de decisiones de una forma nunca imaginada y que permitirá el desarrollo de nuevas tecnologías de análisis de datos para reemplazar a los expertos humanos que se basan más en la intuición.

Aunque discrepo en la generalización de este último punto, porque el dejar en manos de los algoritmos complejos la toma de decisiones puede conducir a efectos no deseados (Véase: Las TIC y la volatilidad de los mercados financieros).

Sin embargo, el Big Data es una potente herramienta para la experimentación, el análisis y la toma de decisiones.

Es una oportunidad para experimentar en tiempo real rompiendo con las barreras de los costes y el tiempo requerido en obtener los datos, porque éstos están ahí, de forma masiva, para su explotación. Desde los comportamientos de los consumidores, tal como se ha señalado, hasta los temas reales que preocupan a los ciudadanos en diversos ámbitos, o los comportamientos de todos los agentes que intervienen en los procesos de negocios.

Todo depende de los criterios que vayamos a utilizar para explotar unos datos que se duplican cada dos años. Para tomar conciencia de lo que representa este volumen de datos, simplemente señalar que durante el año 2011 habremos creado y replicado 1,8 Zettabytes y para visualizar lo que representa este volumen de datos, para su almacenamiento necesitaríamos 57.500 millones de iPADs de 32GB.

Lo que es cierto es que, cuando empecemos a observar y analizar con detalle este universo digital de información en constante crecimiento y sus flujos, se abrirán nuevas dimensiones en el conocimiento desconocidas hasta el momento, como le ocurrió a Leewenhoek hace 340 años.