Big data
Qué es y por qué es importante
Big data es un término que describe el gran volumen de datos – estructurados y no estructurados – que inundan una empresa todos los días. Pero no es la cantidad de datos lo importante. Lo que importa es lo que las organizaciones hacen con los datos. El big data puede ser analizado para obtener insights que conlleven a mejores decisiones y acciones de negocios estratégicas.
Historia del Big Data
El término "big data" se refiere a los datos que son tan grandes, rápidos o complejos que es difícil o imposible procesarlos con los métodos tradicionales. El acto de acceder y almacenar grandes cantidades de información para la analítica ha existido desde hace mucho tiempo. Pero el concepto de big data cobró impulso a principios de la década de 2000 cuando el analista de la industria, Doug Laney, articuló la definición actual de grandes datos como las tres V:
Volumen: Las organizaciones recopilan datos de diversas fuentes, como transacciones comerciales, dispositivos inteligentes (IO), equipo industrial, vídeos, medios sociales y más. En el pasado, su almacenamiento habría sido un problema - pero el almacenamiento más barato en plataformas como los data lakes y el Hadoop han aliviado la carga.
Velocidad: Con el crecimiento del Internet de las Cosas, los datos llegan a las empresas a una velocidad sin precedentes y deben ser manejados de manera oportuna. Las etiquetas RFID, los sensores y los medidores inteligentes están impulsando la necesidad de manejar estos torrentes de datos en tiempo casi real.
Variedad : Los datos se presentan en todo tipo de formatos: desde datos numéricos estructurados en bases de datos tradicionales hasta documentos de texto no estructurados, correos electrónicos, vídeos, audios, datos de teletipo y transacciones financieras.
En SAS, consideramos otras dos dimensiones cuando se trata del big data:
Variabilidad:
Además de las crecientes velocidades y variedades de datos, los flujos de datos son impredecibles, cambian a menudo y varían mucho. Es un reto, pero las empresas necesitan saber cuándo algo está de moda en los medios sociales, y cómo gestionar los picos de carga de datos diarios, estacionales y desencadenados por eventos.
Veracidad:
La veracidad se refiere a la calidad de los datos. Debido a que los datos provienen de tantas fuentes diferentes, es difícil vincular, comparar, limpiar y transformar los datos a través de los sistemas. Las empresas necesitan conectar y correlacionar las relaciones, las jerarquías y los múltiples vínculos de datos. De lo contrario, sus datos pueden salirse de control rápidamente.
Producción optimizada con analítica de big data
En la Corporación USG, el uso de big data con analítica predictiva es clave para comprender plenamente cómo se hacen los productos y cómo funcionan. Y en un mercado con un aluvión de competencia global, los fabricantes como USG saben la importancia de producir productos de alta calidad a un precio asequible. Usando la Plataforma SAS, USG ha eliminado las conjeturas y optimizado sus inversiones en producción. Los resultados: una mejor calidad de los productos y el tiempo de comercialización.
¿Por qué son importante el big data?
La importancia del big data no gira en torno a la cantidad de datos que tienes, sino en lo que haces con ellos. Puedes tomar datos de cualquier fuente y analizarlos para encontrar respuestas que permitan 1) reducir los costos, 2) reducir el tiempo, 3) desarrollar nuevos productos y optimizar las ofertas, y 4) tomar decisiones inteligentes. Cuando se combinan grandes datos con análisis de alta potencia, se pueden realizar tareas relacionadas con los negocios como:
- Determinar las causas de origen de fallos, problemas y defectos casi en tiempo real.
- Generar cupones en el punto de venta basados en los hábitos de compra del cliente.
- Recalcular portafolios de riesgo completos en minutos.
- Detecte el comportamiento fraudulento antes de que afecte a su organización.
Big data en el mundo de hoy
Big Data - y la forma en que las organizaciones gestionan y obtienen la información - está cambiando la forma en que el mundo utiliza la información de los negocios. Más información sobre el impacto del big data.
Integración de datos Deja Vu: Los grandes datos revitalizan la ID
Para seguir siendo pertinente, la integración de datos debe funcionar con muchos tipos y fuentes de datos diferentes, y a la vez operar con diferentes latencias, desde el tiempo real hasta la transmisión. Aprenda cómo el ID ha evolucionado para cumplir con los requisitos modernos.
Cómo generar su estrategia de datos y analítica
¿Se pregunta cómo construir una organización analítica de clase mundial? Asegurése de que la información es confiable. Potencie las decisiones basadas en datos en todas las líneas de negocio. Impulse la estrategia. Y conozca cómo obtener hasta el último pedazo de valor del big data.
El data lake y el almacén de datos... conozca la diferencia
¿Es el término "data lake" simple exageración de marketing? ¿O es un nuevo nombre para un almacén de datos? Phil Simon deja en claro lo que es un lago de datos, cómo funciona y cuándo podría usted necesitar uno.
Nuevo ecosistema analítico
La nube, los contenedores y la potencia de cálculo a demanda - una encuesta de SAS a más de 1.000 organizaciones explora la adopción de la tecnología e ilustra cómo la adopción de enfoques específicos le posiciona para hacer evolucionar con éxito sus ecosistemas analíticos.
¿Quién se centra en el big data?
El big data es un gran problema para las industrias. El ataque de la IoT y otros dispositivos conectados ha creado un aumento masivo en la cantidad de información que las organizaciones recolectan, manejan y analizan. Junto con el big data viene el potencial de desbloquear grandes insights - para cada industria, de grande a pequeña.
- Select an industry
- Retail
- Manufacturing
- Banking
- Health Care
- Education
- Small and Midsize Businesses
- Government
- Insurance
Retail
Customer relationship building is critical to the retail industry – and the best way to manage that is to manage big data. Retailers need to know the best way to market to customers, the most effective way to handle transactions, and the most strategic way to bring back lapsed business. Big data remains at the heart of all those things.
Manufacturing
Armed with insight that big data can provide, manufacturers can boost quality and output while minimizing waste – processes that are key in today’s highly competitive market. More and more manufacturers are working in an analytics-based culture, which means they can solve problems faster and make more agile business decisions.
Banking
With large amounts of information streaming in from countless sources, banks are faced with finding new and innovative ways to manage big data. While it’s important to understand customers and boost their satisfaction, it’s equally important to minimize risk and fraud while maintaining regulatory compliance. Big data brings big insights, but it also requires financial institutions to stay one step ahead of the game with advanced analytics.
Health Care
Patient records. Treatment plans. Prescription information. When it comes to health care, everything needs to be done quickly, accurately – and, in some cases, with enough transparency to satisfy stringent industry regulations. When big data is managed effectively, health care providers can uncover hidden insights that improve patient care.
Education
Educators armed with data-driven insight can make a significant impact on school systems, students and curriculums. By analyzing big data, they can identify at-risk students, make sure students are making adequate progress, and can implement a better system for evaluation and support of teachers and principals.
Small and Midsize Businesses
Between the ease of collecting big data and the increasingly affordable options for managing, storing and analyzing data, SMBs have a better chance than ever of competing with their bigger counterparts. SMBs can use big data with analytics to lower costs, boost productivity, build stronger customer relationships, and minimize risk and fraud.
Government
When government agencies are able to harness and apply analytics to their big data, they gain significant ground when it comes to managing utilities, running agencies, dealing with traffic congestion or preventing crime. But while there are many advantages to big data, governments must also address issues of transparency and privacy.
Insurance
Telematics, sensor data, weather data, drone and aerial image data – insurers are swamped with an influx of big data. Combining big data with analytics provides new insights that can drive digital transformation. For example, big data helps insurers better assess risk, create new pricing policies, make highly personalized offers and be more proactive about loss prevention.
El deep learning anhela el big data porque es necesaria para aislar patrones ocultos y para encontrar respuestas sin sobrecargar los datos. Con el deep learning, cuantos más datos de buena calidad tenga, mejores serán los resultados. Wayne Thompson SAS Product Manager
Innovación impulsada por los datos
Los exabytes actuales del big data abren innumerables oportunidades para capturar insights que impulsen la innovación. Desde una previsión más precisa hasta una mayor eficiencia operativa y mejores experiencias de los clientes, los usos sofisticados del big data y analítica impulsan avances que pueden cambiar nuestro mundo: mejorando vidas, curando enfermedades, protegiendo a los vulnerables y conservando recursos.
Cómo funciona Big Data
Antes de que las empresas puedan poner a trabajar el big data, deben considerar cómo fluyen entre una multitud de lugares, fuentes, sistemas, propietarios y usuarios. Hay cinco pasos clave para hacerse cargo de este gran "centro de datos" que incluye datos tradicionales y estructurados junto con datos no estructurados y semiestructurados:
- Establezca una gran estrategia de datos.
- Identifique fuentes de big data.
- Acceda, gestione y almacene los datos.
- Analice los datos.
- Tome decisiones basadas en datos.
1) Establezca una estrategia de big data
A un alto nivel, una estrategia de big data es un plan diseñado para ayudarle a supervisar y mejorar la forma en que adquiere, almacena, gestiona, comparte y utiliza los datos dentro y fuera de su organización. Una estrategia de big data establece el escenario para el éxito del negocio en medio de una abundancia de datos. Cuando se desarrolla una estrategia, es importante considerar las metas e iniciativas de negocios y tecnología existentes y futuras. Esto exige tratar los grandes datos como cualquier otro activo empresarial valioso, en lugar de considerarlos sólo como un subproducto de las aplicaciones.
2) Conozca las fuentes del big data
- El streaming de datos proviene del Internet de las Cosas (IoT) y otros dispositivos conectados que fluyen a los sistemas de TI desde los vestidos, los coches inteligentes, los dispositivos médicos, los equipos industriales y más. Puede analizar este big data a medida que llegan, decidiendo qué datos guardar o no guardar, y cuáles necesitan un análisis más profundo.
- Los datos de los medios sociales provienen de interacciones en Facebook, YouTube, Instagram, etc. Esto incluye big data en forma de imágenes, vídeos, voz, texto y sonido, útiles para la comercialización, las ventas y las funciones de apoyo. Estos datos suelen estar en formas no estructuradas o semiestructuradas, por lo que plantean un desafío único para el consumo y el análisis.
- Los datos disponibles públicamente provienen de cantidades masivas de fuentes de datos abiertos como el data.gov del gobierno de los Estados Unidos, el World Factbook de la CIA o el Open Data Portal de la Unión Europea.
- Otros big data puede provenir de data lakes, fuentes de datos en la nube, proveedores y clientes.
3) Acceda, gestione y almacene big data
Los sistemas informáticos modernos proporcionan la velocidad, la potencia y la flexibilidad necesarias para acceder rápidamente a cantidades masivas y tipos de big data. Además de un acceso confiable, las empresas también necesitan métodos para integrar los datos, asegurar la calidad de los mismos, proporcionar un gobierno y un almacenamiento de datos, y preparar los datos para el análisis. Algunos datos pueden almacenarse en data warehouse tradicional, pero también hay opciones flexibles y de bajo costo para almacenar y manejar big data a través de soluciones de nube, lagos de datos y Hadoop.
4) Analice el big data
Con tecnologías de alto rendimiento como la computación en red o analítica en memoria, las organizaciones pueden optar por utilizar todos sus big data para análisis. Otro enfoque es determinar por adelantado qué datos son relevantes antes de analizarlos. De cualquier manera, el análisis de big data es cómo las empresas obtienen valor e información a partir de los datos. Cada vez más, el big data alimenta los esfuerzos analíticos avanzados de hoy en día, como la inteligencia artificial.
5) Tome decisiones inteligentes, basadas en datos
Los datos bien administrados y confiables conducen a un analítica y decisiones confiables. Para seguir siendo competitivas, las empresas necesitan aprovechar todo el valor del big data y operar de una manera basada en los datos, tomando decisiones basadas en la evidencia presentada por los grandes datos en lugar de en el instinto visceral. Los beneficios de ser impulsado por los datos son claros. Las organizaciones basadas en datos se desempeñan mejor, son operacionalmente más predecibles y son más rentables.
Pasos siguientes
El big data exige una gestión de datos sofisticada y técnicas de analítica avanzada. SAS le tiene cubierto.
Preparación de datos SAS
Para preparar el big data para la analítica primero hay que acceder, perfilar, limpiar y transformar los datos. Con una variedad de fuents de big data, tamaños y velocidades, la preparación de los datos puede consumir enormes cantidades de tiempo. La preparación de datos de SAS simplifica la tarea, de modo que puede preparar los datos sin necesidad de codificación, habilidades especializadas o dependencia de la informática.
Lecturas recomendadas
- Artículo Edge computingWith edge computing, IoT data is processed at the edge of a network where it’s created or collected – avoiding delays and enabling real-time processing and action.
- Series Tracking down answers to your questions about data scientistsDo you need a data scientist? Want to be a data scientist, or improve the skills you already have? Check out our Insights series.
- Artículo 9 questions on in-memory analyticsWith in-memory analytics, data is stored on the disk but read into memory for faster analytical processing. What does this mean for your business? And how can you benefit? Find out the answers to these and other questions.