Mineração de Dados
O que é e qual sua importância?
Mineração de dados (em inglês, data mining) é o processo de encontrar anomalias, padrões e correlações em grandes conjuntos de dados para prever resultados. Através de uma variedade de técnicas, você pode usar essas informações para aumentar a renda, cortar custos, melhorar o relacionamento com os clientes, reduzir riscos e mais.
História e avanços recentes da mineração de dados
O processo de minerar dados para descobrir conexões escondidas e prever tendências futuras tem uma longa história. Por vezes chamado de "descoberta de conhecimento em bancos de dados", o termo "mineração" só foi cunhado nos anos 1990, mas sua base compreende três disciplinas científicas entrelaçadas que existem há tempos: estatística (o estudo numérico das relações entre dados), inteligência artificial (inteligência exibida por softwares e/ou máquinas, que se assemelha à humana) e machine learning (algoritmos que podem aprender com dados para realizar previsões). A tecnologia de mineração de dados continua evoluindo para acompanhar o potencial ilimitado do big data e a computação de baixo custo.
Na última década, os avanços no poder e na velocidade de processamento nos permitiram ir de práticas manuais, tediosas e lentas para análises de dados rápidas, fáceis e automatizadas. Quanto mais complexos forem os conjuntos de dados coletados, mais potencial haverá para deles extrair insights relevantes. Varejistas, bancos, fabricantes, operadoras de telecomunicações, seguradoras etc, estão usando a mineração de dados para descobrir relações entre tudo — desde preços, promoções e demografias até como a economia, o risco, a concorrência e as mídias sociais estão afetando seus modelos de negócio, receitas, operações e relacionamentos com os clientes.
Why is data mining important?
So why is data mining important? You’ve seen the staggering numbers – the volume of data produced is doubling every two years. Unstructured data alone makes up 90 percent of the digital universe. But more information does not necessarily mean more knowledge.
Data mining allows you to:
- Sift through all the chaotic and repetitive noise in your data.
- Understand what is relevant and then make good use of that information to assess likely outcomes.
- Accelerate the pace of making informed decisions.
- Uncover new insights from data through the use of predictive analytics.
Qual a importância da mineração de dados?
Então qual a importância da mineração de dados? Você viu que os números são impressionantes — o volume de dados produzidos está dobrando a cada dois anos. Somente os dados não-estruturados compõem 90% do universo digital. Porém, mais informação não significa necessariamente mais conhecimento.
A mineração de dados permite que você:
- Separe todos os ruídos caóticos e repetitivos em seus dados;
- Entenda o que é relevante para, então, fazer um bom uso dessa informação para avaliar os resultados possíveis;
- Acelere o ritmo de tomadas de decisões bem-informadas.
Saiba mais sobre técnicas de mineração dados em Data Mining From A to Z, um relatório que mostra como as organizações podem usar análises preditivas e mineração de dados para obter novos inisghts com seus dados.
Data Mining in Today's World
Data mining is a cornerstone of analytics, helping you develop the models that can uncover connections within millions or billions of records. Learn how data mining is shaping the world we live in.
Quem está usando?
A mineração de dados está no coração dos esforços analíticos em uma variedade de indústrias e disciplinas.
In an overloaded market where competition is tight, the answers are often within your consumer data. Telecom, media and technology companies can use analytic models to make sense of mountains of customers data, helping them predict customer behavior and offer highly targeted and relevant campaigns.
Telecomunicações
Em um mercado sobrecarregado, no qual a concorrência é grande, as respostas muitas vezes estão nos dados dos seus consumidores. Empresas de multimídia e telecomunicações podem usar modelos analíticos para dar sentido a milhões de dados de clientes, prever seus comportamentos e oferecer campanhas altamente segmentadas e relevantes.
With analytic know-how, insurance companies can solve complex problems concerning fraud, compliance, risk management and customer attrition. Companies have used data mining techniques to price products more effectively across business lines and find new ways to offer competitive products to their existing customer base.
With unified, data-driven views of student progress, educators can predict student performance before they set foot in the classroom – and develop intervention strategies to keep them on course. Data mining helps educators access student data, predict achievement levels and pinpoint students or groups of students in need of extra attention.
Seguradoras
Com know-how analítico, as seguradoras podem resolver problemas complexos envolvendo fraude, conformidade, gestão de risco e atritos com clientes. As empresas têm usado técnicas de mineração de dados para avaliar os produtos de modo mais eficaz em todas as linhas de negócios e encontrar novas maneiras de oferecer produtos competitivos à sua base de clientes.
Aligning supply plans with demand forecasts is essential, as is early detection of problems, quality assurance and investment in brand equity. Manufacturers can predict wear of production assets and anticipate maintenance, which can maximize uptime and keep the production line on schedule.
Educação
Com visualizações unificadas e baseadas em dados sobre o progresso dos alunos, os educadores podem prever o desempenho deles antes mesmo de entrarem na sala de aula – além de desenvolver estratégias de intervenção para mantê-los no caminho certo. A mineração de dados ajuda educadores a acessar dados dos alunos, prever conquistas e identificar quem precisa de uma atenção extra.
Automated algorithms help banks understand their customer base as well as the billions of transactions at the heart of the financial system. Data mining helps financial services companies get a better view of market risks, quickly detect and prevent fraud, manage regulatory compliance obligations and get optimal returns on their marketing investments.
Large customer databases hold hidden customer insight that can help you improve relationships, optimize marketing campaigns and forecast sales. Through more accurate data models and marketing analytics, retail companies can offer more targeted campaigns – and find the offer that makes the biggest impact on the customer.
Manufatura
Alinhar planos de fornecimento com previsões de demandas é essencial, assim como detectar problemas cedo, garantir a qualidade e investir no valor da marca. Os fabricantes podem prever o desgaste dos ativos de produção e antecipar a necessidade de manutenção, o que pode maximizar o tempo de atividade e manter a linha de produção dentro do cronograma.
Bancos
Algoritmos automatizados ajudam os bancos a entender sua base de clientes, bem como as bilhões de transações no coração do sistema financeiro. A mineração de dados ajuda as empresas do setor a obter uma visão melhor dos riscos de mercado, detectar fraudes mais rapidamente, gerenciar obrigações de conformidade normativa e obter retornos ideais sobre seus investimentos de marketing.
Varejo
Grandes bancos de dados de clientes contêm insights escondidos que podem ajudá-lo a melhorar o relacionamento com os clientes, otimizar campanhas de marketing e prever vendas. Através de modelos de dados mais precisos, as empresas varejistas podem oferecer campanhas mais direcionadas – e encontrar a oferta que causa o maior impacto no cliente.
Veja como diferentes indústrias estão usando esta tecnologia
- Automotiva
- Bancária
- Bens de Consumo
- Defesa & Segurança
- Educação
- Ensino Superior
- Esportes
- Financeira
- Governo
- Hotelaria
- Life Sciences
- Manufatura
- Mídia
- Operadoras de Saúde
- Pequenas e Médias Empresas
- Petróleo & Gás
- Seguros
- Seguros de Saúde
- Tecnologia
- Telecomunicações
- Turismo & Transportes
- Utilities
- Varejo
Como funciona?
A mineração de dados, enquanto disciplina composta, representa uma variedade de métodos ou técnicas usadas em diferentes capacidades analíticas que abordam uma gama de necessidades organizacionais, fazem diferentes tipos de perguntas e usam diferentes níveis de entradas ou regras para chegar a uma decisão.
Modelagem descritiva: revela semelhanças compartilhadas ou agrupamentos em dados históricos para determinar as razões por trás do sucesso ou do fracasso, como a categorização de clientes por preferência de produtos ou emoções. Essas técnicas incluem:
Clustering | Agrupa registros semelhantes. |
Detecção de anomalias
| Identifica valores discrepantes multidimensionais.
|
Regras de associação
| Detecta relações entre registros.
|
Análise do componente principal
| Detecta relações entre variáveis. |
Grupos de afinidade | Agrupa pessoas com interesses ou objetivos semelhantes (ex., pessoas que compram X podem comprar Y e, possivelmente, Z).
|
Modelagem preditiva: vai mais fundo na hora de classificar eventos futuros ou estimar resultados desconhecidos — por exemplo, usando escoragem de crédito para determinar a probabilidade de um indivíduo quitar um empréstimo. A modelagem preditiva também ajuda na descoberta de insights para situações como churn de clientes, engajamento em campanhas ou padrões de crédito. Essas técnicas incluem:
Regressão | Uma medida da força da relação entre uma variável dependente e uma série de variáveis independentes. |
Redes neurais | Programas de computadores que detectam padrões, fazem previsões e aprendem disso. |
Árvores de decisão | Diagramas na forma de árvores em que cada galho representa uma ocorrência provável. |
Máquinas de vetores de suporte | Modelos de aprendizagem supervisionada com seus algoritmos de aprendizagem associados. |
Modelagem prescritiva: com o aumento no volume de dados não-estruturados a partir da web, campos de comentários, livros, e-mail, PDFs e outras fontes textuais, a adoção de mineração de texto como uma disciplina relacionada à mineração de dados também cresceu significativamente. Você precisa ser capaz de analisar, filtrar e transformar dados não-estruturados com sucesso para incluí-los em modelos preditivos e, então, melhorar a precisão de previsões.
No fim, você não deve olhar para a mineração de dados como uma entidade separada e única, porque o pré-processamento (preparação de dados e exploração de dados) e o pós-processamento (validação de modelos, escoragem, monitoramento de performance de modelos) são igualmente essenciais. A modelagem prescritiva olha para variáveis internas e externas, além de restrições, para recomendar um ou mais cursos de ação — por exemplo, determinar a melhor oferta de marketing a ser enviada para cada consumidor. Essas técnicas incluem:
Análises preditivas e suas regras
| Desenvolve regras do tipo se/então a partir de padrões e prevê resultados. |
Otimização de marketing
| Simula, em tempo real, o mix de mídia mais vantajoso para alcançar o maior ROI possível. |
Leia mais sobre este assunto
-
Fraud detection and machine learning: What you need to knowMachine learning and fraud analytics are critical components of a fraud detection toolkit. Here’s what you’ll need to get started – from integrating supervised and unsupervised machine learning in operations to maintaining customer service while defending against fraud.
-
Machine learning for beginners and beyondWhether you’re an experienced data scientist or a machine learning beginner, you’ll appreciate these 10 tips for getting started with machine learning.
-
Student lands dream job with help from SASA strong partnership between the University of Alabama and SAS put Cameron Jagoe on a path that led to his dream job with US Bank.
-
Introduction to machine learning: Five things the quants wish we knewMachine learning is gaining momentum thanks to bigger, more complex data sets. How does it work? Kimberly Nevala from SAS Best Practices explains what it is by focusing on what it isn't.