Los datos de la encuesta se han comparado y contrastado recientemente con los llamados «big data» y algunos observadores han especulado cómo Big Data puede eliminar la necesidad de la investigación de encuestas. Si bien tanto la investigación de big data como la encuesta tienen mucho que ofrecer, muy poco trabajo ha examinado las formas en que se pueden usar mejor para proporcionar conjuntos de datos más ricos. Este capítulo ofrece una definición amplia de big data y propone un marco para comprender cómo los beneficios y las propiedades de error de los big data y las encuestas pueden aprovecharse de manera complementaria. Este capítulo presenta varias de las oportunidades y desafíos que pueden enfrentar aquellos que intentan unir estas diferentes fuentes de datos.
La definición de «Big Data» es compleja y cambia constantemente. Por ejemplo, Dutcher (2014) pidió a 40 líderes de pensamiento diferentes que definieran a Big Data y obtuvieron casi 40 definiciones diferentes. Sin embargo, hay cierto consenso en la literatura sobre las características principales de los big data, según lo descrito por un informe de Gartner ampliamente citado (Beyer y Laney 2012).
En términos de volumen, Big Data son aquellos datos que no pueden ser manejados por herramientas de análisis tradicionales.
En términos de velocidad, Big Data refiere los datos que están llegando (casi) en tiempo real.
En términos de variedad, Big Data son conjuntos de datos complejos e incluyen fuentes de contexto muy diferentes, como texto no estructurado, contenido de medios, como imágenes y videos, registros y otras fuentes de datos.
Además de estas tres características clave de Big Data, otros autores han citado la variabilidad (cómo los datos pueden ser inconsistentes a través del tiempo), veracidad (precisión y calidad de datos) y complejidad (cómo vincular múltiples bases de datos correctamente). En la práctica, lo que a menudo se llama «big data» puede no poseer las seis características (por ejemplo, puede tener datos muy grandes de gran complejidad que pueden no tener alta velocidad). Remitimos al lector a Baker (2016) para obtener una definición extensa de big data en el contexto de la investigación de encuestas.
¿Qué es Big Data resumen corto?
Antes de que las empresas puedan hacer que Big Data funcionen para ellos, deben considerar cómo fluye entre una multitud de ubicaciones, fuentes, sistemas, propietarios y usuarios. Hay cinco pasos clave para hacerse cargo de este «tejido de big data» que incluye datos tradicionales y estructurados junto con datos no estructurados y semiestructurados:
- Establezca una estrategia de big data.
- Identificar fuentes de big data.
- Acceder, administrar y almacenar los datos.
- Analizar los datos.
- Tomar decisiones inteligentes basadas en datos.
En un alto nivel, una estrategia de big data es un plan diseñado para ayudarlo a supervisar y mejorar la forma en que adquiere, almacena, administra, comparte y usa datos dentro y fuera de su organización. Una estrategia de big data prepara el escenario para el éxito empresarial en medio de una abundancia de datos. Al desarrollar una estrategia, es importante considerar los objetivos e iniciativas de negocios y tecnología existentes y futuros. Esto requiere tratar los grandes datos como cualquier otro activo comercial valioso en lugar de solo un subproducto de las aplicaciones.
Haga clic en la infografía para obtener más información sobre Big Data.
- Establezca una estrategia de big data.
- Identificar fuentes de big data.
- Acceder, administrar y almacenar los datos.
- Analizar los datos.
- Tomar decisiones inteligentes basadas en datos.
Los sistemas informáticos modernos proporcionan la velocidad, la potencia y la flexibilidad necesarias para acceder rápidamente a cantidades y tipos de big data rápidamente. Junto con el acceso confiable, las empresas también necesitan métodos para integrar los datos, construir tuberías de datos, garantizar la calidad de los datos, proporcionar gobernanza y almacenamiento de datos y preparar los datos para el análisis. Algunos big data se pueden almacenar en el sitio en un almacén de datos tradicional, pero también hay opciones flexibles de bajo costo para almacenar y manejar grandes datos a través de soluciones en la nube, lagos de datos, tuberías de datos y Hadoop.
Con tecnologías de alto rendimiento como la computación de la red o el análisis en memoria, las organizaciones pueden optar por usar todos sus grandes datos para los análisis. Otro enfoque es determinar por adelantado qué datos son relevantes antes de analizarlos. De cualquier manera, Big Data Analytics es cómo las empresas ganan valor y conocimientos de los datos. Cada vez más, Big Data alimenta los esfuerzos de análisis avanzados de hoy como la inteligencia artificial (IA) y el aprendizaje automático.
¿Qué es Big Data y cuál es su importancia?
En la era actual, se están desarrollando numerosas aplicaciones sociales que dan como resultado un aumento de los datos masivamente todos los días y cuando hablamos sobre plataformas de redes sociales, millones de usuarios se conectan a diario, la información se comparte cuando los usuarios usan una plataforma de redes sociales o cualquier otro sitio web, Entonces, surge la pregunta de cómo se maneja esta gran cantidad de datos y a través de qué medio o herramientas se procesan y almacenan los datos. Aquí es donde big data sale a la luz.
En esta publicación, demostraré la importancia de Big Data y qué herramientas y técnicas de Big Data se utilizan hoy en día.
Big Data es un término que describe el gran volumen de datos, tanto estructurados como no estructurados, que inunda un negocio en el día a día. Pero no es la cantidad de datos lo importante. Es lo que las organizaciones hacen con los datos lo que importa. Se pueden analizar Big Data para conocer las ideas que conducen a mejores decisiones y movimientos comerciales estratégicos.
¿Todavía no estoy seguro de qué es Big Data? La industria de TI, en un intento por cuantificar qué es y no es un gran datos, ha presentado lo que se conoce como las «V» de Big Data. Los tres fundamentales son:
- Volumen: La cantidad de datos es inmensa. Según las fuentes cada día, se crean 2.3 billones de gigabytes de nuevos datos.
- Velocidad: la velocidad de los datos y el procesamiento (análisis de los datos de transmisión para producir resultados en tiempo cercano o real)
- Variedad: los diferentes tipos de datos, estructurados, así como no estructurados.
El concepto de Big Data ha existido durante años, la mayoría de las organizaciones ahora entienden que si capturan todos los datos que se convierten en sus negocios, pueden aplicar análisis y obtener un valor significativo de él.
¿Cuándo se considera Big Data?
Hemos entrado en la edad de los datos para siempre. Todo lo que hacemos en línea e incluso fuera de línea deja rastros en los datos, desde cookies hasta nuestros perfiles de redes sociales. Entonces, ¿cuántos datos hay realmente? ¿Cuántos datos procesamos a diario? Bienvenido a la era de Zettabyte.
Cisco estimó que en 2016 hemos pasado un Zettabyte en el tráfico anual total de Internet, eso son todos los datos que hemos cargado y compartido en la World Wide Web, la mayoría de ellos compartiendo archivos. Un Zettabyte es una medida de capacidad de almacenamiento, que equivale a 1000⁷ (1,000,000,000,000,000,000,000 de bytes). Un zettabyte es igual a mil exabytes, mil millones de terabytes o billones de gigabytes. En otras palabras, ¡eso es mucho! Especialmente si tenemos en cuenta que Internet ni siquiera tiene 40 años. Cisco estimó también que para 2022 el tráfico anual crecerá a más de 2 zettabytes.
El tráfico de Internet es solo una parte del almacenamiento total de datos, que incluye también todos los dispositivos personales y comerciales. Las estimaciones para la capacidad total de almacenamiento de datos que tenemos en este momento, en 2019, varían, pero ya están en el rango de 10-50 Zettabyte. Para 2025, se estima que esto crece hasta el rango de 150–200 zettabytes.
Definitivamente, la creación de datos solo se sujetará en los próximos años, por lo que puede preguntarse: ¿hay algún límite para el almacenamiento de datos? En realidad, o más bien, hay límites, pero están tan lejos que no nos acercaremos a ellos pronto. Por ejemplo, solo un gramo de ADN puede almacenar 700 terabytes de datos, lo que significa que podríamos almacenar todos nuestros datos que tenemos en este momento en 1500 kg de ADN, empaquetados densamente, encajaría en una habitación ordinaria. Sin embargo, eso está muy lejos de lo que podemos fabricar actualmente. El disco duro más grande que se fabrica tiene 15 terabytes, y el SSD más grande alcanza los 100 terabytes.
El término big data se refiere a un conjunto de datos que es demasiado grande o demasiado complejo para que los dispositivos de computación ordinarios procesen. Como tal, es relativo a la potencia informática disponible en el mercado. Si observa la historia reciente de datos, en 1999 tuvimos un total de 1.5 exabytes de datos y 1 Gigabyte se consideró big data. Ya en 2006, los datos totales se estimaron en 160 exabytes, 1000% más en 7 años. En nuestra Era Zettabyte, Gigabyte ya no es Big Data realmente, y tiene sentido hablar sobre Big Data que comienza con al menos 1 terabyte. Si tuviéramos que poner eso en términos más matemáticos, entonces parece natural hablar de big data con respecto a los conjuntos de datos que exceden los datos totales creados en el mundo divididos por 1000³.
¿Cómo es considerado el Big Data?
Las respuestas que obtienes a la pregunta «¿Qué es Big Data?» Por lo general, dependerá de la perspectiva de quien esté preguntando. A fines de la década de 1990 y principios de la década de 2000, cuando el término llegó por primera vez a la prevalencia, una definición cuantitativa de big data podría haberlo descrito como cualquier pieza o conjunto de información mayor que un gigabyte (1 GB) de tamaño. En estos días, esa cantidad de información podría sentarse cómodamente en un chip de memoria del tamaño de su miniatura en una época en la que se considera Big Data en términos de petabytes, exabytes y zettabytes de información.
Una definición más subjetiva podría describirlo en términos del gran volumen de información que se genera continuamente por las personas, la tecnología y las transacciones, la velocidad con la que aparece (junto con la velocidad con la que necesita ser procesado y analizado), y el Gran variedad de fuentes que contribuyen a él.
Mirando big data desde una perspectiva cualitativa, y teniendo en cuenta que las fuentes de información estructuradas, no estructuradas y semiestructuradas contribuyen al almacén de datos del mundo, es posible definir big data como información tan extensa, vasta o compleja que es difícil o imposible procesar utilizando métodos y tecnología tradicionales.
El volumen se relaciona con el tamaño de los conjuntos de datos involucrados. Con información proveniente de transacciones comerciales, dispositivos inteligentes (IoT o Internet de las cosas), equipos industriales, videos, redes sociales y otras transmisiones, ahora es común medir grandes datos en términos de petabytes (1,024 terabytes) o exabytes (1,024 petabytes) de información e incluso denominaciones más grandes, que se ejecutan a miles de millones o incluso billones de registros.
¿Cuándo es Big Data y cuando no?
Big Data es un gran negocio. La firma de investigación de TI Gartner estima que el software total, las redes sociales y el gasto de servicios de TI relacionados con Big Data y Analytics superaron los $ 28 mil millones en todo el mundo en 2012. Todas las estimaciones predicen un rápido crecimiento. Además de los proveedores, al menos tres tipos de organizaciones están cosechando valor de Big Data.
Procter & Gamble y UPS son ejemplares. En la década de 1920, P&G se convirtió en la primera compañía en tomar decisiones significativas de productos y publicidad sobre la base de datos detallados de investigación de mercado laboriosamente recopilados durante las conversaciones puerta a puerta con los consumidores. Hoy P&G utiliza modelado y simulación por computadora para analizar múltiples fuentes de datos: compartimentos recopilados de las redes sociales, datos de ventas de consumidores, datos de RFID e información de los procesos altamente digitalizados de la compañía, y toma decisiones basadas en hechos a diario.
UPS comenzó a rastrear los movimientos de sus vehículos y paquetes en la década de 1980. Más recientemente, la compañía comenzó a usar Big Data de Telematics Sensors instalados en sus vehículos junto con datos de mapeo y otros informes en tiempo real de caídas y pastillas de sus conductores. Usando estos datos, UPS diseña rutas que, por ejemplo, minimizan el número de giros izquierdos que debe hacer un controlador para entregar una carga. Tales cambios pueden generar grandes pagos, porque se implementan con más de 100,000 conductores en todo el mundo. En 2011, guiado por el análisis de Big Data, UPS evitó agregar más de 11,000 toneladas métricas de CO2 a la atmósfera y ahorró $ 30 millones en costos de combustible.
Muchas empresas basadas en la ingeniería confían en el análisis de big data para tomar decisiones operativas críticas. Por ejemplo, ya que la década de 1960 ExxonMobil inventó la tecnología sísmica 3-D, que revolucionó cómo la industria del petróleo y el gas decidió dónde perforar. La recopilación y el procesamiento de imágenes tridimensionales de formaciones geológicas debajo de la superficie de la Tierra proporcionaron más y mejores datos para esas decisiones. Hoy en día, los científicos e ingenieros de la compañía usan un análisis 4-D (que muestra cambios en un campo a lo largo del tiempo) para reducir aún más los costos y los riesgos de exploración. Los investigadores de las compañías farmacéuticas y de biotecnología también están utilizando Big Data y un poderoso procesamiento para ayudar a impulsar las decisiones comerciales.
Las empresas que se conectan con los clientes únicamente a través de Internet pueden capturar enormes cantidades de datos sobre el comportamiento del cliente. Esta es la oportunidad perfecta de grandes datos para tomar decisiones basadas en hechos. Una técnica, que se ha convertido casi en un espíritu de gobierno para Google, Amazon, Netflix y eBay, es una prueba A/B, en las que algunos usuarios se desvían a una versión ligeramente diferente de una página web, que presenta una nueva idea o producto . El comportamiento de esos usuarios (b) se compara con el de los usuarios en la página existente (a), y los resultados a menudo están sujetos a un análisis estadístico sofisticado. Esta técnica transforma mucha toma de decisiones de desarrollo de productos de un ejercicio subjetivo a un objetivo objetivo. Los diseñadores de productos a menudo se sorprenden al aprender cuán malos son sus instintos y reglas de pulgar. En un giro ordenado, Google y Amazon ahora proporcionan herramientas que ayudarán a otras compañías a seguir el mismo enfoque.
¿Qué es Big Data sus características de Big Data?
El término big data se refiere a un gran volumen de datos que no pueden almacenarse procesados por ningún almacenamiento de datos o unidades de procesamiento tradicionales. Big Data se genera a gran escala y muchas compañías multinacionales lo utilizan para procesar y analizar para descubrir ideas y mejorar el negocio de muchas organizaciones.
Obtenga una comprensión profunda de los conceptos de Big Data del curso Hadoop.
Big Data generalmente se clasifica en tres variedades diferentes. Son como se muestra a continuación:
- Datos estructurados
- Datos semiestructurados
- Datos no estructurados
- StructuredData posee un modelo de datos dedicado, también tiene una estructura bien definida, sigue un orden consistente y está diseñado de tal manera que una persona o una computadora se puede acceder fácilmente y usarse fácilmente. Los datos estructurados generalmente se almacenan en columnas bien definidas y también bases de datos.
- Los datos semiestructurados pueden considerarse como otra forma de datos estructurados. Hereda algunas propiedades de los datos estructurados, pero la mayor parte de este tipo de datos no tiene una estructura definida y también, no obedece la estructura formal de modelos de datos como un RDBMS.
- Los datos no estructurados son completamente un tipo diferente del cual no tiene una estructura ni obedece para seguir las reglas estructurales formales de los modelos de datos. Ni siquiera tiene un formato consistente y se encuentra que varía todo el tiempo. Pero, rara vez puede tener información relacionada con los datos y el tiempo.
El volumen se refiere a las cantidades inimaginables de información generada cada segundo a partir de las redes sociales, teléfonos celulares, automóviles, tarjetas de crédito, sensores M2M, imágenes, video y otras cosas. Actualmente estamos utilizando sistemas distribuidos, para almacenar datos en varias ubicaciones y reunidos por un marco de software como Hadoop.
¿Qué es la Big Data en qué consiste y de ejemplos?
Abhinav es un analista de datos en la actualización. Es un analista de datos experimentado con un historial demostrado de trabajo en la industria de la educación superior. Profesional de tecnología de la información sólida experta en Python…
Últimamente, el término «big data» ha estado bajo el centro de atención, pero no muchas personas saben lo que es Big Data. Las empresas, las instituciones gubernamentales, los SHC (proveedores de atención médica) y las instituciones financieras y académicas están aprovechando el poder de los big data para mejorar las perspectivas comerciales junto con una mejor experiencia del cliente.
Simplemente declarando que Big Data es un conjunto de datos más grande y complejo adquiridos de fuentes de datos diversas, nuevas y antiguas. Los conjuntos de datos son tan voluminosos que el software tradicional para el procesamiento de datos no puede administrarlo. Tales volúmenes masivos de datos generalmente se utilizan para abordar los problemas en los negocios que es posible que no pueda manejar.
¡IBM sostiene que las empresas de todo el mundo generan casi 2.5 quintillones de bytes de datos diariamente! Casi el 90% de los datos globales se han producido solo en los últimos 2 años.
Por lo tanto, sabemos con certeza que la mejor manera de responder «qué es Big Data» es mencionar que ha penetrado en casi todas las industrias hoy y es una fuerza impulsora dominante detrás del éxito de las empresas y organizaciones en todo el mundo. Pero, en este punto, ¿es importante saber qué es Big Data? Hablemos de Big Data, características de Big Data, tipos de big data y mucho más.
Artículos Relacionados:
