Big Data

O que é e porque é importante?

Big Data é um termo popular usado para descrever o crescimento, a disponibilidade e o uso exponencial de informações estruturadas e não estruturadas. O Big Data pode ser tão importante para os negócios - e para a sociedade - como a Internet se tornou. Por quê? O excesso de dados pode levar à realização de análises mais precisas.

Análises mais precisas podem levar à tomada de decisões mais eficientes. E decisões mais precisas podem significar uma maior eficiência operacional, redução de custos e riscos.

Definição de Big Data

Em 2001, o analista do setor de Doug Laney (Gartner) articulou a definição do termo Big Data em três Vs: Volume, Velocidade e Variedade.

  • Volume. Muitos fatores contribuem para o aumento do volume de dados. Transações de dados armazenados ao longo dos anos, dados de texto constantemente em streaming nas mídias sociais, o aumento da quantidade de dados de sensores que estão sendo coletados etc. No passado o volume de dados excessivo criou um problema de armazenamento. Mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como determinar a relevância entre os grandes volumes de dados e como criar valor a partir dessa relevância.
  • Velocidade. De acordo com o Gartner, velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Etiquetas RFID e contadores inteligentes estão impulsionando uma necessidade crescente de lidar com torrentes de dados em tempo quase real. Reagir rápido o suficiente para lidar com a velocidade é um desafio para a maioria das organizações.
  • Variedade. Os dados de hoje vem em todos os tipos de formatos. Sejam bancos de dados tradicionais, hierarquias de dados criados por usuários finais e sistemas OLAP, arquivos de texto, e-mail, medidores e sensores de coleta de dados, vídeo, áudio, dados de ações do mercado e transações financeiras. Por algumas estimativas, 80 por cento dos dados de uma organização não é numérico! Mas, estes dados também precisam ser incluídos nas análises e tomadas de decisões das empresas.

No SAS, consideramos duas outras dimensões quando pensamos em Big Data:

  • Variabilidade. Para além das velocidades crescentes e variedades de dados, o fluxo de dados pode ser altamente inconsistente com picos periódicos. Há algo grande virando tendência nas mídias sociais? Talvez haja um grande IPO se aproximando. Talvez de repente nadar com animais exóticos nas Bahamas se torne a atividade de férias imperdível do momento. Diariamente, eventos sazonais desencadeiam picos de carga de dados e isso pode ser um desafio para gerenciar - especialmente quando temos as mídias sociais envolvidas.
  • Complexidade. Quando você lida com grandes volumes de dados, eles vêm de diversas fontes. É um grande desafio vincular, correlacionar, limpar e transformar os dados de um sistema. No entanto, é necessário conectar e correlacionar interações, hierarquias e vínculos múltiplos de informação ou então os dados podem rapidamente sair de controle. Governança de dados pode ajudar a determinar como os dados díspares se relacionam com definições comuns e como integrar sistematicamente os ativos de dados estruturados e não estruturados para produzir informações de alta qualidade, uteis, adequadas e atualizadas.

1 Source: META Group. "3D Data Management: Controlling Data Volume, Velocity, and Variety." February 2001.

Big Data Insights

Big Data Insights

Obtenha mais insights sobre Big Data, incluindo artigos, pesquisas e outros temas.

Usos do Big Data

A verdadeira questão não é que você está coletando grandes quantidades de dados, mas sim o que você faz com eles. As organizações terão que ser capazes de aproveitar os dados relevantes e usá-los para tomar as melhores decisões. As Tecnologias não só apoiam a coleta e o armazenamento de grandes volumes de dados, elas fornecem a capacidade de compreender e obter valor, o que ajuda as organizações a operar de forma mais eficiente e rentável. Por exemplo, com o Big Data Analytics, é possível:

  • Analisar milhões de SKUs para determinar os preços ótimos que maximizam os lucros e mínimo inventário.
  • Recalcular carteiras de risco inteiras em questão de minutos e compreender as possibilidades futuras para mitigar o risco.
  • Minerar dados de clientes para insights que impulsionam novas estratégias de otimização de campanhas, aquisição e retenção de clientes.
  • Rapidamente identificar os clientes mais importantes.
  • No Varejo, gerar cupons no ponto de venda com base em compras atuais e passadas, garantindo uma maior taxa de conversão.
  • Enviar recomendações personalizadas para dispositivos móveis no momento certo, enquanto os clientes estão no local para aproveitar as ofertas.
  • Analisar dados de mídias sociais para detectar novas tendências de mercado e mudanças na demanda.
  • Usar a análise de fluxo de cliques e de mineração de dados para detectar comportamentos fraudulentos.
  • Determinar as causas de falhas, problemas e defeitos, investigando as sessões de usuário, logs de rede e sensores da máquina.

Desafios a considerar

Muitas organizações estão preocupadas com o fato de que a quantidade de dados acumulados está se tornando tão grande que é difícil encontrar as informações mais valiosas.

  • E se o seu volume de dados torna-se tão grande e variado que você não sabe como lidar com isso?
  • Você armazena todos os seus dados?
  • Você analisa tudo isso?
  • Como você pode descobrir quais dados são realmente importantes?
  • Como você pode usá-los para seu melhor proveito?

Até recentemente, as organizações têm sido limitadas ao uso de subconjuntos de amostras dos seus dados, ou limitadas a análises simplistas porque os volumes absolutos de dados sobrecarregariam suas plataformas de processamento. Qual é o sentido de coletar e armazenar terabytes de dados, se você não pode analisá-la no contexto completo, ou se você tem que esperar horas ou dias para obter resultados? Por outro lado, nem todos os dados são relevantes. Agora você tem duas opções:

Incorporar grandes volumes de dados na análise

As tecnologias de transformam o mundo são as que extraem o verdadeiro valor a partir do Big Data. Uma abordagem é a aplicação de análises de alto desempenho em enormes quantidades de dados usando tecnologias como Grid Computing, processamento In-Database e análise In-Memory.

Determinar antes quais os dados relevantes

Tradicionalmente, a tendência tem sido armazenar tudo (alguns chamam isso de acumulação de dados) e somente quando você consultar os dados irá ver o que é relevante. Agora temos a possibilidade de aplicar a análise na entrada dos dados para determinar sua relevância com base no contexto. Esta análise pode ser usada para determinar quais os dados devem ser incluídos nos processos de análise e quais podem ser alocadas em armazenamento de baixo custo de acesso posterior, se necessário.

Tecnologias Facilitadoras

Um número de recentes avanços tecnológicos está permitindo que organizações aproveitem o máximo do big data e do big data analytics:

  • Armazenamento abundante e barato.
  • Processadores mais rápidos.
  • Alta capacidade de memória acessível, como Hadoop.
  • Processamento paralelo, clustering, MPP, virtualização, grandes ambientes de grid, alta conectividade e grandes resultados.
  • Computação em nuvem e outras alocações de recursos flexíveis.

A tecnologia de big data não apenas suporta a habilidade de coletar grandes volumes de dados como também provê a habilidade de compreendê-los e tirar proveito de seu valor. A meta de todas as organizações com acesso a grandes volumes de dados deveria ser atrelar os dados mais relevantes e usá-los na tomada de decisões. É muito importante entender que nem todo dado será relevante ou útil. Mas como você pode encontrar os dados que mais importam? Esse é um problema amplamente conhecido. “Muitas empresas tem feito lentos progressos extraindo valor do big data. E algumas empresas tentam usar as tradicionais práticas de gerenciamento de dados no big data, apenas para aprender que velhas regras não mais se aplicam”, disse Dan Briody, na publicação do estudo de 2011 da Economist Intelligence Unit, “Big Data: Harnessing a Game-Changing Asset”.

Big Data em ação

 

Perspective: UPS

UPS is no stranger to big data, having begun to capture and track a variety of package movements and transactions as early as the 1980s.The company now tracks data on 16.3 million packages per day for 8.8 million customers, with an average of 39.5 million tracking requests from customers per day. The company stores more than 16 petabytes of data.

Much of its recently acquired big data, however, comes from telematics sensors in more than 46,000 vehicles. The data on UPS trucks, for example, includes their speed, direction, braking and drive train performance. The data in not only used to monitor daily performance, but to drive a major redesign of UPS drivers' route structures. This initiative, called ORION (On-Road Integration Optimization and Navigation), is arguably the world's largest operations research project. It also relies heavily on online map data, and will eventually reconfigure a driver's pickups and drop-offs in real time.

Savings

The project has already led to savings in 2011 of more than 8.4 million gallons of fuel by cutting 85 million miles off of daily routes. UPS estimates that saving only one daily mile per driver saves the company $30 million, so the overall dollar savings are substantial. The company is also attempting to use data and analytics to optimize the efficiency of its 2,000 aircraft flights per day.2

2 Source: Thomas H. Davenport and Jill Dyche, "Big Data in Big Companies," May 2013.

macys-logo
Agora você pode criar centenas de milhares de modelos analíticos com o big data e analytics para suportar criação de modelos à nível de estoque, SKUs ou Stock Keeping Units (Unidade de Manutenção de Estoque).


Soluções SAS para Big Data

Quer descobrir mais sobre outros temas?

Fraud & Risk Insights

Risco e Fraude

Descubra novas percepções sobre risco e fraude em pesquisas, artigos e muito mais.

Analytics Insights

Analytics

Conecte-se com os mais recentes conhecimentos sobre analytics através de artigos e pesquisas.

Marketing Insights

Marketing

Explore tópicos relacionados a marketing e descubra uma variedade de novas informações.

Back to Top