Imagínate el reto que tiene que asumir una gran empresa para manejar sus datos, un banco, una cadena de supermercados, una tienda por departamentos o una empresa de software. Son enormes cantidades de información que están repartidospor distintos lugares y que deben centralizarse para ser analizados, esta es la esencia del Big Data.
Terminología del Big Data
✅ Datos no estructurados
Son aquellos que no tienen una estructura definida, correos electrónicos, conversaciones por slack, información de gestión de proyectos en Asana o Trello, todos ellos son datos no estructurados pero con información importante para tu empresa.
✅****Datos estructurados
Son aquellos que ya se diseñan, como por ejemplo pasar un conjunto de datos a una hoja de cálculo.
✅****Base de datos
Es un conjunto de información de datos estructurados debidamente organizado, que con la ayuda de motores de bases de datos, permiten almacenar, procesar y extraer la información de estas.
✅****On premise
Con este término nos referirnos a las empresas que guardan sus datos e infraestructura en local, es decir en sus propias computadoras, servidores y racks. En su momento no había otra manera de almacenar los datos, se requerian de equipos muy costosos que eventualmente con el tiempo se volvían obsoletos, se necesitaba un espacio donde hacer el cableado y un lugar físico donde poner los equipos para guardar y procesar toda la información, además de personal capacitado y especializado para manejar estos equipos.
✅****Cloud Computing
Es un conjunto de servicios de cómputo enormes y escalables ofrecidos por una empresa que ya cuenta con equipos que almacenan y procesan todos tus datos en la nube. Algunas empresas que ofrecen estos servicios son Amazon (AWS), Google (GSP) y Microsoft (Azure).
✅****Data warehouse
Es un gran almacén de datos que pueden contener miles de petabytes (un millón de gigabytes) de información.
✅****Machine learning
En palabras sencillas es el aprendizaje automático, hacer que las computadoras sean capaces de aprender a través de patrones y poder detectar nuevos patrones valga la redundancia para poder hacer predicciones. En otras palabras es crear a un asistente que revise constantemente toda la información y que encuentre datos importantes.
Imagínate darle un millón de fotos de perros a una computadora, la computadora analizará y aprenderá de estas fotos, luego será capaz de distinguir a un perro entre otras fotografías, este es el principio del machine learning.
¿Pero qué es Big Data?
El Big Data es un gran volumen de información de diferentes fuentes y con estructuras distintas que llegan a una velocidad de cambio tan rápida como una avalancha de datos que no paran de llegar y moverse, y que son muy difíciles de procesar y analizar con los sistemas de cómputo tradicionales. Por ello requerimos del Cloud Computing.
Las 5 V del Big Data
El big data debe cumplir con estas 5 V
Ver esta publicación en Instagram
Una publicación compartida de EDteam (@edteamlat) el 30 Abr, 2019 a las 10:53 PDT
- Volumen. Gran cantidad de información difícil de procesar con los medios tradicionales
- Variabilidad. Los datos provienen de diversas fuentes, soportes, herramientas y plataformas
- Velocidad. Los datos se generan y almacenan a una velocidad sin precedentes
- Veracidad. Las empresas deben asegurarse de que los datos están recopilando tengan validez
- Valor. Es necesario saber qué tan pertinente es la información para los objetivos que se busca
Seguramente te preguntarás, si los datos vienen de muchísimos lugares ¿Cómo podemos analizarlos cómo si fueran una sola fuente?. Para eso tenemos un proceso llamado ETL.
- Extracción. Capturamos los datos de las fuentes y los centralizamos
- Transformación. Estandarizamos los datos (data cleaning) para que parezcan de una misma fuente, para ello necesitaremos un algoritmo para limpiar estos datos o utilizar machine learning
- Load. Es la carga de los datos ya estandarizados en un data warehouse para su posterior análisis
Los datos son el nuevo petróleo
Pero, ¿Cómo Google y Facebook hace dinero con nuestros datos? ¿Cómo pasan estos de ser simplemente datos a convertirse en dinero? El ciclo de vida de los datos explica un parte de esta maravillosa forma de negocio.
Ciclo de vida de los datos
Ver esta publicación en Instagram
Una publicación compartida de EDteam (@edteamlat) el 3 May, 2019 a las 9:36 PDT
- **Captura.**Se capturan los datos que vienen de diferentes fuentes
- Almacenamiento. Los datos capturados se deben estructurar para luego almacenarlos
- Procesamiento y análisis. Se buscan patrones de manera predeterminada, es decir definir que estamos buscando, o podemos utilizar machine learning para encontrar patrones que nosotros no imaginamos pero que podrían ser de mucha utilidad
- Exploración y visualización. La información ya procesada se organiza en tableros o gráficos que faciliten su lectura para la toma de decisiones de grandes empresas.
Con estos datos se pueden tomar decisiones, ya que muestran el comportamiento de los usuarios, tendencias e incluso predicen el futuro. De esta manera podemos saber en qué temporada las ventas van a subir o bajar, o que tipo de usuarios van a comprar en cierta zona geográfica.
Un ejemplo claro es el escándalo de Cambridge Analytica en la manipulación de las elecciones. Simplemente sacando patrones de comportamiento de los usuarios de facebook y usándolos a su favor. “He ahí el dinero de los datos”.
Son muchas las utilidades del big data, podríamos utilizar los datos abiertos (open data) para crear un aplicación que muestre las zonas seguras para transitar durante el dia, todo esto analizando los datos del tráfico, cámaras de seguridad, registros policiales, índice de delincuencia, etc. Todo es gracias al Big Data.
En resumen el Big Data permite encontrar soluciones para los negocios o para la ciudadanía a través del análisis de grandes volúmenes de información usando gran capacidad de cómputo, principalmente con Cloud Computing y Machine Learning.
¿Quieres más contenido de Big Data?, Preparamos un vídeo, míralo aquí
Tenemos un workshop completo de Big Data. Miralo aquí 👉https://ed.team/cursos/big-data-google
