O que é Big Data?

Big Data é um termo popular usado para descrever o crescimento, a disponibilidade e o uso exponencial de informações estruturadas e não estruturadas. Muito tem sido escrito sobre Big Data e como ele pode servir como base para a inovação, diferenciação e crescimento.
Segundo o IDC, é imperativo que os líderes das organizações de TI se concentrem no crescente volume, variedade e velocidade de informações que constituem o Big Data. 1

• Volume
Muitos fatores contribuem para o aumento do volume de dados. Transações de dados armazenados ao longo dos anos, dados de texto constantemente em streaming nas mídias sociais, o aumento da quantidade de dados de sensores que estão sendo coletados etc. No passado o volume de dados excessivo criou um problema de armazenamento. Mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como determinar a relevância entre os grandes volumes de dados e como criar valor a partir dessa relevância.

• Variedade
Os dados de hoje vem em todos os tipos de formatos. Sejam bancos de dados tradicionais, hierarquias de dados criados por usuários finais e sistemas OLAP, arquivos de texto, e-mail, medidores e sensores de coleta de dados, vídeo, áudio, dados de ações do mercado e transações financeiras. Por algumas estimativas, 80 por cento dos dados de uma organização não é numérico! Mas, estes dados também precisam ser incluídos nas análises e tomadas de decisões das empresas.

• Velocidade
De acordo com o Gartner, velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Etiquetas RFID e contadores inteligentes estão impulsionando uma necessidade crescente de lidar com torrentes de dados em tempo quase real. Reagir rápido o suficiente para lidar com a velocidade é um desafio para a maioria das organizações.

Big data de acordo com o SAS

No SAS, consideramos duas outras dimensões quando pensamos em Big Data:

• Variabilidade
Para além das velocidades crescentes e variedades de dados, o fluxo de dados pode ser altamente inconsistente com picos periódicos. Há algo grande virando tendência nas mídias sociais? Talvez haja um grande IPO se aproximando. Talvez de repente nadar com animais exóticos nas Bahamas se torne a atividade de férias imperdível do momento. Diariamente, eventos sazonais desencadeiam picos de carga de dados e isso pode ser um desafio para gerenciar - especialmente quando temos as mídias sociais envolvidas.

• Complexidade
Quando você lida com grandes volumes de dados, eles vêm de diversas fontes. É um grande desafio vincular, correlacionar, limpar e transformar os dados de um sistema. No entanto, é necessário conectar e correlacionar interações, hierarquias e vínculos múltiplos de informação ou então os dados podem rapidamente sair de controle. Governança de dados pode ajudar a determinar como os dados díspares se relacionam com definições comuns e como integrar sistematicamente os ativos de dados estruturados e não estruturados para produzir informações de alta qualidade, uteis, adequadas e atualizadas.

Em última análise, independentemente dos fatores envolvidos, acreditamos que o termo Big Data é relativo e se aplica (por avaliação do Gartner) sempre que a capacidade da organização de gerenciar, armazenar e analisar os dados exceder sua capacidade atual.

Usos do Big Data

A verdadeira questão não é que você está coletando grandes quantidades de dados, mas sim o que você faz com eles. As organizações terão que ser capazes de aproveitar os dados relevantes e usá-los para tomar as melhores decisões.
As Tecnologias não só apoiam a coleta e o armazenamento de grandes volumes de dados, elas fornecem a capacidade de compreender e obter valor, o que ajuda as organizações a operar de forma mais eficiente e rentável. Por exemplo, com o Big Data Analytics, é possível:

• Analisar milhões de SKUs para determinar os preços ótimos que maximizam os lucros e mínimo inventário.

• Recalcular carteiras de risco inteiras em questão de minutos e compreender as possibilidades futuras para mitigar o risco.

• Minerar dados de clientes para insights que impulsionam novas estratégias de otimização de campanhas, aquisição e retenção de clientes.

• Rapidamente identificar os clientes mais importantes.

• No Varejo, gerar cupons no ponto de venda com base em compras atuais e passadas, garantindo uma maior taxa de conversão.

• Enviar recomendações personalizadas para dispositivos móveis no momento certo, enquanto os clientes estão no local para aproveitar as ofertas.

• Analisar dados de mídias sociais para detectar novas tendências de mercado e mudanças na demanda.

• Usar a análise de fluxo de cliques e de mineração de dados para detectar comportamentos fraudulentos.

• Determinar as causas de falhas, problemas e defeitos, investigando as sessões de usuário, logs de rede e sensores da máquina.

Desafios

Muitas organizações estão preocupadas com o fato de que a quantidade de dados acumulados está se tornando tão grande que é difícil encontrar as informações mais valiosas.

• E se o seu volume de dados torna-se tão grande e variado que você não sabe como lidar com isso?

• Você armazena todos os seus dados?

• Você analisa tudo isso?

• Como você pode descobrir quais dados são realmente importantes?

• Como você pode usá-los para seu melhor proveito?

Até recentemente, as organizações têm sido limitadas ao uso de subconjuntos de amostras dos seus dados, ou limitadas a análises simplistas porque os volumes absolutos de dados sobrecarregariam suas plataformas de processamento. Qual é o sentido de coletar e armazenar terabytes de dados, se você não pode analisá-la no contexto completo, ou se você tem que esperar horas ou dias para obter resultados? Por outro lado, nem todos os dados são relevantes.
Agora você tem duas opções:

• Incorporar grandes volumes de dados na análise
As tecnologias de transformam o mundo são as que extraem o verdadeiro valor a partir do Big Data. Uma abordagem é a aplicação de análises de alto desempenho em enormes quantidades de dados usando tecnologias como Grid Computing, processamento In-Database e análise In-Memory.

• Determinar antes quais os dados relevantes
Tradicionalmente, a tendência tem sido armazenar tudo (alguns chamam isso de acumulação de dados) e somente quando você consultar os dados irá ver o que é relevante. Agora temos a possibilidade de aplicar a análise na entrada dos dados para determinar sua relevância com base no contexto. Esta análise pode ser usada para determinar quais os dados devem ser incluídos nos processos de análise e quais podem ser alocadas em armazenamento de baixo custo de acesso posterior, se necessário.

Tecnologia

Um número de recentes avanços tecnológicos está permitindo que organizações aproveitem o máximo do big data e do big data analytics:

• Armazenamento de dados barato e abundante e capacidade de processamento de servidores

• Processadores mais rápidos

• Alta capacidade de memória acessível, como Hadoop

• Novas tecnologias de armazenamento e processamento desenhadas especialmente para grandes volumes de dados, incluindo dados não estruturados

• Processamento paralelo,  clustering, MPP, virtualização, grandes ambientes de grid, alta conectividade e grandes resultados.

• Computação em nuvem e outras alocações de recursos flexíveis.

A tecnologia de big data não apenas suporta a habilidade de coletar grandes volumes de dados como também provê a habilidade de compreendê-los e tirar proveito de seu valor. A meta de todas as organizações com acesso a grandes volumes de dados deveria ser atrelar os dados mais relevantes e usá-los na tomada de decisões. É muito importante entender que nem todo dado será relevante ou útil. Mas como você pode encontrar os dados que mais importam? Esse é um problema amplamente conhecido. “Muitas empresas tem feito lentos progressos extraindo valor do big data. E algumas empresas tentam usar as tradicionais práticas de gerenciamento de dados no big data, apenas para aprender que velhas regras não mais se aplicam”, disse Dan Briody, na publicação do estudo de 2011 da Economist Intelligence Unit, “Big Data: Harnessing a Game-Changing Asset”.

A solução de big data do SAS

Como você pode aproveitar todos os dados ao máximo, agora e no futuro? É uma proposta dupla. Você pode apenas otimizar seu sucesso se entrelaçar analytics na sua solução de big data. Mas você também precisará de analytics para ajuda-lo a gerenciar o próprio big data.

Existem várias tecnologias essenciais que podem ajuda-lo a lidar com big data, e mais importante, extrair valor considerável dele.

Gestão da informação para big data. Vários fornecedores enxergam o big data como uma discussão relacionada a tecnologias como Hadoop, NoSQL, etc. O SAS tem uma abordagem mais ampla do gerenciamento/governança de dados, provendo estratégia e soluções que permitem a gestão do big data e seu uso mais efetivo.

High-performance analytics. Aproveitando do mais recente poder de processamento paralelo, high-performance analytics te permite fazer coisas antes impossíveis devido aos enormes volumes de dados.

High-performance visual analytics. High-performance visual analytics te permite explorar imensos volumes de dados em questão de segundos, para que possa identificar rapidamente as oportunidades em análises futuras. Porque não se trata apenas de ter big data, mas sim das decisões que você toma com os dados que trarão ganhos para sua organização.

Opções de implementação flexíveis para big data. Modelos de implementação flexíveis possibilitam escolhas. O High-performance analytics do SAS consegue analisar bilhões de variáveis, e essas soluções podem ser implementadas na nuvem (com SAS ou outro fornecedor), em aparelhos com high-performance analytics dedicados ou na infra-estrutura de TI existente, o que melhor atender aos requerimentos da sua organização.

1 Fonte: IDC. "Big Data Analytics: Future Architectures, Skills and Roadmaps for the CIO," September 2011

Recursos - Big Data

Descubra as Possibilidades do High-Perfeormance Analytics

Contato Telefone Formulário de Contato