Machine Learning

O que é e por que é importante?


Machine Learning ou Aprendizado de Máquina é um método de análise de dados que automatiza o desenvolvimento de modelos analíticos. Usando algoritmos que aprendem interativamente a partir de dados, o aprendizado de máquinas permite que os computadores encontrem insights ocultos sem serem explicitamente programados para procurar algo específico.

O aspecto interativo do aprendizado de máquinas é importante porque, conforme os modelos são expostos a novos dados, eles são capazes de se adaptar de forma independente. Eles aprendem com os cálculos anteriores para produzir decisões e resultados confiáveis e reproduzíveis. É uma ciência que não é nova, mas que está ganhando um novo impulso.

Por causa das novas tecnologias de computação, o aprendizado de máquina de hoje não é como o aprendizado de máquina do passado. Enquanto muitos algoritmos de machine learning estiveram por aí por bastante tempo, a capacidade de aplicar automaticamente cálculos matemáticos complexos a big data – cada vez mais e cada vez mais rápido – é um desenvolvimento recente. Aqui estão alguns exemplos amplamente divulgados de aplicações do machine learning com os quais você pode já estar familiarizado:

  • Os carros autônomos do Google que dirigem sozinhos? A essência do aprendizado de máquina.
  • Ofertas de recomendações on-line como as da Amazon e Netflix? Aplicações de aprendizado de máquina na vida cotidiana.
  • Saber o que os clientes estão dizendo sobre você no Twitter? Aprendizado de máquina combinado com a criação de regra linguística.
  • Detecção de fraudes? Um dos usos mais óbvios e importantes em nosso mundo de hoje.

Por que o interesse por Machine Learning aumentou tanto?

O interesse no aprendizado de máquina ressurgiu devido aos mesmos fatores que tornaram a mineração de dados e a análise Bayesiana mais populares do que nunca. Coisas como o crescente volume e variedade de dados disponíveis, o processamento computacional que está mais barato e mais poderoso, e o armazenamento de dados de forma acessível.

Tudo isso significa que é possível produzir de forma rápida e automática modelos que permitam analisar dados maiores e mais complexos e fornecer resultados mais rápidos e mais precisos – mesmo em uma escala muito grande. O resultado? Previsões de alto valor que podem levar a melhores decisões e ações inteligentes em tempo real sem a intervenção humana.

Um segredo para a produção de ações inteligentes em tempo real é o desenvolvimento de modelo automatizados. O líder de ideias inovadoras em analytics Thomas H. Davenport escreveu no The Wall Street Journal que, com os volumes de dados em rápida evolução e em crescimento, “(...) você precisa de fluxos de modelagem de rápida evolução para ser capaz de acompanhar”. E você pode obter isso com machine learning. Segundo ele, “as pessoas podem normalmente criar um ou dois bons modelos por semana; o aprendizado de máquina pode criar milhares de modelos por semana”.

Mais sobre Machine Learning

     

    O que é aprendizagem profunda?

    Aprendizagem profunda ou deep learning, é uma área de rápido crescimento na pesquisa de aprendizado de máquina, machine learning, que tem alcançado avanços no reconhecimento de discurso, texto e imagem. Ela se baseia em adotar uma rede neural com muitas camadas ocultas, permitindo que um computador aprenda tarefas, organize informações e encontre padrões sozinho. Recentemente, o SAS assumiu um problema clássico na pesquisa do aprendizado de máquina, o banco de dados MNIST, um conjunto de dados contendo milhares de imagens de dígitos manuscritos.

    Assista a este webinar para aprender o que fizemos e que isso revela sobre o futuro da aprendizagem profunda: The Thinking Machine – Experiments in Deep Learning.

    Como é o aprendizado de máquina é usado hoje em dia?

    Você já se perguntou como um varejista online apresenta ofertas quase instantâneas para outros produtos que podem lhe interessar? Ou como os credores podem fornecer respostas quase em tempo real aos seus pedidos de empréstimo? Muitas de nossas atividades diárias são alimentadas por algoritmos de machine learning incluindo:

    • Detecção de fraudes.
    • Resultados de pesquisa na Web.
    • Anúncios em tempo real em páginas da web e dispositivos móveis.
    • Análise de sentimento baseada em texto.
    • Pontuação de crédito e próximas melhores ofertas.
    • Previsão de falhas em equipamento.
    • Novos modelos de precificação.
    • Detecção de invasão na rede.
    • Reconhecimento de padrões e imagem.
    • Filtragem de spams no e-mail.

    Video – Reconhecimento de padrões

    Uma utilização popular para o machine learning atualmente é o reconhecimento de padrões, pois ele pode ser usado para reconhecer muitos tipos de imagens. Por exemplo, o Serviço Postal dos EUA usa o aprendizado de máquina para reconhecimento de caligrafia. Este vídeo curto mostra como é fácil implementar o machine learning com o SAS Enterprise Miner.

    Quais são os métodos de machine learning mais populares?

     

    Dois dos métodos de aprendizado de máquina ou machine learning mais adotados são o aprendizado supervisionado e o aprendizado não supervisionado. A maior parte do aprendizado de máquina – cerca de 70%– é de aprendizado supervisionado. O aprendizado não supervisionado é responsável por 10% a 20%. O aprendizado semisupervisionado e por reforço são duas outras tecnologias que são por vezes utilizadas.

    • Algoritmos de aprendizado supervisionado são treinados usando exemplos rotulados, como uma entrada onde a saída desejada é conhecida. Por exemplo, uma peça de equipamento pode ter pontos de dados rotulados com “F” (com falha) ou “R” (em funcionamento). O algoritmo de aprendizagem recebe um conjunto de entradas junto com as saídas corretas correspondentes, e o algoritmo aprende comparando a saída real com as saídas corretas para encontrar erros. Em seguida, ele modifica o modelo de acordo. Por meio de métodos como a classificação, regressão, previsão e boosting do gradiente, o aprendizado supervisionado usa padrões para prever os valores do rótulo em dados adicionais não rotulados. O aprendizado supervisionado é comumente usado em aplicações nas quais os dados históricos preveem prováveis acontecimentos futuros. Por exemplo, ele pode prever a probabilidade de as transações de cartão de crédito serem fraudulentas ou qual cliente do seguro deve registrar uma reclamação.
    • O aprendizado não supervisionado é usado contra a dados que não possuem rótulos históricos. O sistema não sabe a “resposta certa”. O algoritmo deve descobrir o que está sendo mostrado. O objetivo é explorar os dados e encontrar alguma estrutura neles. O aprendizado não supervisionado funciona bem em dados transacionais. Por exemplo, ele pode identificar segmentos de clientes com atributos semelhantes que podem ser tratados de modo semelhante em campanhas de marketing. Ou ele pode encontrar os principais atributos que separam os segmentos de clientes uns dos outros. As técnicas mais populares incluem mapas auto-organizáveis, mapeamento do vizinho mais próximo, agrupamento k-means e decomposição em valores singulares. Esses algoritmos também são usados para segmentar tópicos de texto, recomendar itens e identificar os valores discrepantes dos dados.
    • O aprendizado semisupervisionado é usado para as mesmas aplicações que o aprendizado supervisionado. Mas ele usa tanto dados rotulados quanto não marcados para o treinamento – normalmente uma pequena quantidade de dados rotulados com uma grande quantidade de dados não rotulados (pois os dados não rotulados são mais baratos e precisam de menos esforço para serem adquiridos). Esse tipo de aprendizagem pode ser usado com métodos como a classificação, regressão e previsão. O aprendizado semisupervisionado é útil quando o custo associado à rotulagem é muito elevado para permitir um processo de treinamento totalmente rotulado. Os primeiros exemplos disso incluem a identificação do rosto de uma pessoa em uma webcam.
    • O aprendizado por reforço é muitas vezes usado para a robótica, jogos e navegação. Com o aprendizado por reforço, o algoritmo descobre pela tentativa e erro quais ações geram as maiores recompensas. Este tipo de aprendizagem tem três componentes principais: o agente (o aluno ou tomador de decisões), ambiente (tudo com o qual o agente interage) e ações (o que o agente pode fazer). O objetivo é que o agente escolha ações que maximizem a recompensa esperada ao longo de um determinado período de tempo. O agente atingirá o objetivo muito mais rápido seguindo uma boa política. Assim, o objetivo do aprendizado por reforço é aprender a melhor política.

    Qual é a diferença entre a mineração de dados, aprendizado de máquina e a aprendizagem profunda?

    A diferença entre o aprendizado de máquina e outras abordagens estatísticas e matemáticas, como a mineração de dados, é um outro objeto de debate popular. Em termos simples, enquanto o aprendizado de máquina usa muitos dos mesmos algoritmos e técnicas que a mineração de dados, uma diferença está no que as duas disciplinas preveem.

    • A mineração de dados descobre padrões e conhecimento previamente desconhecidos.
    • O aprendizado de máquina é usado para reproduzir padrões e conhecimento conhecidos, automaticamente aplicar isso a outros dados, e, em seguida, aplicar automaticamente esses resultados à tomada de decisões e ações.

    O aumento do poder dos computadores de hoje também ajudou as técnicas de mineração de dados a evoluírem para o uso em aprendizado de máquina. Por exemplo, as redes neurais têm sido muito utilizadas em aplicações de mineração de dados. Com um maior poder de computação, você pode criar redes neurais com muitas camadas. Na linguagem do aprendizado de máquina, estas são chamadas de redes neurais profundas. É o aumento da capacidade computacional que permite o processamento rápido de muitas camadas de redes neurais para o aprendizado automatizado.

    Indo um pouco mais longe, redes neurais artificiais (RNAs) são um grupo de algoritmos que são vagamente baseados em nosso entendimento do cérebro. RNAs podem – em teoria – modelar qualquer tipo de relacionamento dentro de um conjunto de dados, mas, na prática, obter resultados confiáveis a partir de redes neurais pode ser muito complicado. A pesquisa de inteligência artificial que remonta à década de 1950 foi marcada pelos sucessos e fracassos das redes neurais.

    Hoje, um novo campo de pesquisa de rede neural, conhecido como aprendizagem profunda, está tendo um enorme sucesso em áreas onde muitas abordagens de inteligência artificial falharam no passado.

    A aprendizagem profunda combina avanços no poder da computação e tipos especiais de redes neurais para aprender padrões complicados em grandes quantidades de dados. Técnicas de aprendizagem profunda são atualmente modernas na identificação de objetos em imagens e palavras em sons. Os pesquisadores estão agora procurando aplicar esses sucessos no reconhecimento de padrões em tarefas mais complexas, como a tradução automática de idiomas, diagnósticos médicos e vários outros importantes problemas sociais e empresariais.

    Você sabia?

    • Em aprendizado de máquina, um alvo é chamado de rótulo.
    • Em estatística, um alvo é chamado de variável dependente.
    • Uma variável em estatística é chamada de recurso no aprendizado de máquina.
    • Uma transformação em estatística é chamada de criação de recurso no aprendizado de máquina.

    O que você precisa para criar bons sistemas de machine learning?

    1. Capacidades de preparação de dados.
    2. Algoritmos – básicos e avançados.
    3. Automação e processos iterativos.
    4. Escalabilidade.
    5. Modelagem em conjunto.

    Algoritmos e processos do aprendizado de máquina

    Algoritmos

    As interfaces gráficas do usuário do SAS o ajudam a construir modelos de aprendizado de máquina e implementar um processo de aprendizado de máquina interativo. Você não precisa ser um estatístico avançado. A nossa seleção abrangente de algoritmos de machine learning podem ajudá-lo a obter valor rapidamente de seu big data e estão incluídos em muitos produtos do SAS. Os algoritmos de aprendizado de máquina do SAS incluem:

    • Redes neurais.
    • Árvores de decisão.
    • Random Forests.
    • Descoberta de associações e sequência.
    • Boosting e bagging de gradiente.
    • Máquinas de vetores de suporte.
    • Mapeamento de nearest-neighbor.
    • Cluster k-means.
    • Mapas auto-organizáveis.
    • Técnicas de otimização de busca local (por ex., algoritmos genéticos.)
    • Maximização da expectativa.
    • Análise Multivariada - Adaptive regression splines.
    • Redes Bayesianas.
    • Estimativa da densidade Kernel.
    • Análise de componentes principais.
    • Decomposição do valor singular.
    • Modelos de mistura de Gauss.
    • Construção de regras de cobertura sequencial.

    Ferramentas e processos

    Como vimos até agora, não se trata apenas de algoritmos. Em última análise, o segredo para obter o máximo valor de seu big data está em emparelhar os melhores algoritmos para a presente tarefa com:

    • Qualidade e gerenciamento de dados abrangentes.
    • GUIs para a construção de modelos e fluxos de processo.
    • Exploração interativa de dados e visualização de resultados do modelo.
    • Comparações de diferentes modelos de machine learning para identificar rapidamente o melhor.
    • Avaliação automatizada do modelo para identificar os melhores desempenhos.
    • Implementação fácil do modelo para que você possa obter resultados repetíveis e confiáveis rapidamente.
    • Uma plataforma integrada de uma ponta a outra para a automação do processo de dados para tomada de decisão.

    Experiência de aprendizado de máquina e expertise do SAS

    No SAS, estamos continuamente buscando e avaliando novas abordagens. A nossa é uma longa história de implementação dos métodos estatísticos mais adequados para resolver os problemas que você enfrenta. Nós combinamos o nosso rico e sofisticado patrimônio na estatística e mineração de dados com os novos avanços na arquitetura para garantir que seus modelos funcionem o mais rápido possível – mesmo em ambientes corporativos enormes.

    Entendemos que o tempo rápido para avaliar significa não somente um desempenho rápido e automatizado do modelo, mas também o tempo NÃO gasto movendo dados entre plataformas – especialmente quando se trata de big data. Técnicas analíticas de alto desempenho distribuídas aproveitam o processamento paralelo em grande escala integrado com o Hadoop, assim como todos os principais bancos de dados. Você pode percorrer rapidamente por todas as etapas do processo de modelagem – sem mover dados.

    Soluções do SAS para machine learning

    Quer mais insights?

    Big Data Insights

    Big Data

    Obtenha mais insights sobre Big Data com artigos, pesquisas e outros temas.

    Fraud & Risk Insights

    Risco & Fraude

    Tenha novos insights sobre risco e fraude lendo artigos, pesquisas e muito mais.

    Marketing Insights

    Customer Intelligence

    Explore insights dos maiores líderes e inovadores do mundo do marketing em uma variedade de tópicos oportunos.

    Back to Top