Fotolia 41498462 M1
El Big Data nos abre las puertas de la transformación de la información en conocimiento. El siguiente paso será convertir ese conocimiento en sabiduría
Big Data es un concepto utilizado para describir un sistema que almacena y estudia enormes cantidades de datos (estructurados, no estructurados)
Un dato estructurado, es un elemento que almacena diversos tipos de información, un ejemplo de ello es un array de datos o una base de datos. Un dato no estructurado es un tipo de datos que garantiza su integridad, por ejemplo un entero, varchar, en bases de datos se habla de cómo consolidamos y ordenamos esta información garantizando su disponibilidad inmediata.
Podemos tener bases de datos relacionales para almacenar algún tipo de información, pero cuando deseamos realizar Análisis de datos, es muy probable que la velocidad y el número de datos recopilado no sea el suficiente. En esos momentos es necesario hablar de grandes almacenes de datos.
En marketing los datos no estructurados son los que no tienen categoría en que podamos relacionarlo, y por lo tanto difícilmente serán útiles para nuestras estrategias de publicidad. Caso contrario son los datos estructurados, estos tienen categoría y nos permiten junto con otros datos tomar las decisiones oportunas (En ocasiones podemos unirlos con datos no estructurados).
Por ejemplo, estos datos se pueden conseguir con una estrategia de marketing digital: cuantos emails han abierto nuestros clientes, rebotes, clicks, cuantas visitas, horario que más se conectan los usuarios en las redes sociales…
El significado es que por sí sóla la información no puede tener mucho significado, pero cuando se le junta con uno o más datos, la importancia del dato aumenta considerablemente.
¿Cuándo ocupar Big Data?
Big data es funcional para toda aquella información que no puede ser procesada o analizada con herramientas tradicionales.
- Gigabyte = 109 = 1,000,000,000
- Terabyte = 1012 = 1,000,000,000,000
- Petabyte = 1015 = 1,000,000,000,000,000
- Exabyte = 1018 = 1,000,000,000,000,000,000
Los constantes datos que captan los dispositivos como GPS, sistemas eléctricos, sensores industriales, dispositivos de salud son complicados de analizar de una forma tradicional; ya que podríamos utilizar el movimiento del dispositivo, su temperatura, humedad, ubicación, y hasta vibración del equipo para cotejar y comparar los datos para saber qué ocurrió.
Si todos los datos almacenados actualmente en los servidores de análisis de información fuera almacenada en CD’s estos generarían una torre que iría desde la tierra hasta la luna y de regreso.
Otro ejemplo claro del uso del Big data es en los censos de población o los registros médicos de una persona.
Twitter almacena diariamente cerca de 12 Terabytes de tuits y Facebook almacena alrededor de 100 Petabytes de fotos y videos, ubicación geográfica mediante coordenadas GPS, clic’s de los usuarios, tiempo de permanencia por palabra y hasta ubicación del mouse ¿Imagínate analizar toda esa información.
De acuerdo a Cisco, el tráfico generado por los dispositivos móviles ha crecido desde el 2011 hasta la fecha a un ritmo del 78%.
Para el 2016 habrá 7.5 billones de habitantes en el mundo, pero a su vez existirán 18.9 billones de dispositivos conectados (Algo así como 2.5 dispositivos por persona) y la información que se generará será de 10.8 Exabytes mensuales o 130 Exabytes anuales.
Sin embargo, los seres humanos no son los únicos que generan información, también debemos considerar la información máquina-máquina que se genera diariamente. Donde podemos encontrar maquinas que estudian segundo a segundo (o en ocasiones en cuestiones tiempo más significativas) el comportamiento de otra máquina (como por ejemplo la altura de vuelo y geolocalización de un avión)
Se cree que actualmente hay más de 30 millones de sensores interconectados en distintos sectores (automotriz, transportación, industrial, servicios, comercial) y según estudios esta tendencia crece en un 30% cada año.
El Big Data es el Petroleo del siglo XXI
Algunos usos del Big Data
La aplicación Spotify analiza los datos para darles a los artistas información para generar la ruta de sus conciertos. Analizan en qué ciudades su música tiene más reproducciones y en función de los datos y perfil de sus usuarios determinan su gira, precios de boletos, días de concierto y hasta que canciones tocarán.
Barack Obama en su campaña electoral utilizó a un equipo de analistas cuantitativos para centrar su esfuerzo en aquellos lugares donde tenía más seguidores.
En España un caso de éxito es Generali Seguros, la compañía aplicó el Big Data para premiar a los mejores conductores. Los hábitos de conducción teniendo en cuenta factores como el número de kilómetros que el cliente recorre al año, si son diurnos o nocturnos, urbanos o interurbanos, si cumple los límites de velocidad o si acelera o frena bruscamente. ¿Les suena el caso de AXXA?
Como aplica estos datos, los ingresa a un sistema que estudia el comportamiento del conductor y de forma inteligente le puede calcular el precio de la prima de su seguro.
En marketing digital, los expertos están utilizando Big Data para conocer información de sus sitios web, campañas de publicidad por correo y datos de registro de sus usuarios.
¿Qué compone una plataforma de Big Data?
Todo el volumen de información sería complicado de analizar si no encontramos que su potencial se encuentra en la unión de los datos con otros. Por ello es que para analizar los datos se ha utilizado la plataforma de código abierto Hadoop.
Apache Hadoop es un framework de software que soporta aplicaciones distribuidas y les permite trabajar con miles de nodos y petabytes de datos.
Hadoop es un proyecto de alto nivel de Apache que está siendo construido y usado por una comunidad global de contribuidores, y está programado en Java.
Yahoo! ha sido el mayor contribuyente al proyecto.
Para su funcionamiento los datos almacenados en el clúster de Hadoop son divididos en pequeñas piezas llamadas bloques y distribuidas a través del mismo; de esta manera, las funciones map y reduce pueden ser ejecutadas en pequeños subconjuntos y esto provee de la escalabilidad necesaria para el procesamiento de grandes volúmenes.
Empleos que genera el Big Data
De acuerdo a Tata Consultancy Services en el 2013 encontró que Latinoamérica es la segunda región en el mundo con la mayor adopción de iniciativas de Big Data después de los Estados Unidos. De ahí la mayoría son empresas Mexicanas las que han logrado desarrollar e integrar plataformas de análisis masivo de datos.
Según la Consultora Garther, para el 2015 4.5 millones de ofertas de empleo en todo el mundo estarán relacionadas con la gestión de grandes cantidades de datos.
El ingeniero de datos que desee trabajar en el análisis de datos debe tener una buena base de conocimientos informáticos, además de conocer lenguajes como Hadoop, Pitón, Java o MapReduce, además de amplios y sólidos conocimientos de estadística y matemáticas para ser capaz de manejar y estructurar cantidades de datos desestructurados.
¿Qué falta en nuestro país para implementar Big Data?
Los estudios demuestran que ya estamos empezando a explorar el sector, pero la realidad es que la mayoría de las empresas solo estudian un pequeño porcentaje de los datos y el restante lo desechan (algo así como el 98%)
A qué se debe
- Falta de concienciación al respecto: Según un estudio de Abardeen Group, el 71% de los directores de marketing afirman no conocer la trascendencia del Big Data y no sentirse preparados para manejarlo.
- Seguridad: La seguridad de los datos y la gestión del riesgo se perfilan como uno de los principales problemas para todas aquellas empresas que manejan grandes volúmenes de información (sobre todo si son datos privados de clientes).
- Escasez de profesionales preparados: En nuestro país hay muy pocos profesionales formados adecuadamente para gestionar e interpretar datos (lo cual se perfila como una auténtica oportunidad laboral para quienes sepan anticiparse).
- Crisis económica: Los recortes presupuestarios derivados de la crisis han supuesto un aplazamiento en la inversión en personal, hardware y software para una gestión adecuada de la información.
En conclusión
Analizar la información que está presente en todo nuestro entorno será el siguiente gran reto de la humanidad.
Instalar sensores, micrófonos, cámaras, escáneres médicos, imágenes en nuestras vidas será otro paso, que gracias a dispositivos inteligentes como: teléfonos, relojes, anteojos, ropa y medidores de salud, nos ayudarán a convertirnos en una sociedad moderna capaz de prevenir diversos sucesos.
Así el intercambio masivo de datos formará parte de nuestro día a día y comenzará a cambiar la forma de nuestra educación, salud, cultura, la forma de relacionarnos, de viajar, y hasta de pensar…
Big data será una nueva forma de entender la realidad que puede suponer ventajas desde múltiples puntos de vista, pero que ha nacido rodeada de polémicas morales y miedo a la pérdida de intimidad y libertad ciudadana.