Data Warehouse

Um data warehouse (ou armazém de dados) armazena grandes quantidades de dados que foram coletados e integrados de várias fontes. Como as organizações dependem desses dados para aplicar analytics ou criar relatórios, eles precisam ser formatados consistentemente, além de facilmente acessíveis – duas qualidades que definem o uso de data warehouses e os torna essenciais para as empresas de hoje.

• História
•      
• Importância
  
•      
• Comparação tecnológica
•      
• Como funciona?
  

História dos data warehouses

Nos anos 1970 e 1980, os dados começaram a proliferar e as empresas precisaram encontrar uma maneira fácil para armazená-los e acessá-los. O cientista da computação Bill Inmon, que é considerado o pai do armazenamento de dados, começou a definir o conceito nos anos 1970 e é o responsável pela criação do termo “data warehouse”. Em 1992, ele publicou um livro intitulado Building the Data Warehouse, tido como uma fonte fundamental para a tecnologia de armazenamento de dados. A definição de Inmon de data warehouse utiliza uma abordagem “de cima para baixo”, em que um repositório central é estabelecido primeiro e, depois, data marts – que contêm subconjuntos específicos de dados – são criados dentro desse repositório.

Ralph Kimball, especialista em tecnologia que publicou The Data Warehouse Toolkit em meados dos anos 1990, aplicou uma tática um pouco diferente ao conceito de data warehouse com sua abordagem “de baixo para cima”, na qual data marts individuais são desenvolvidos primeiro e, depois, integrados para criar um armazém.

O armazenamento de dados continua relevante hoje, e está evoluindo conforme a indústria se transforma para acomodar armazenamento em nuvem e análises em tempo real. Uma ferramenta de banco de dados emergente, similar a um data warehouse, é um data lake, que foi criada por tecnologias disruptivas de baixo custo como o Apache Hadoop. Data lakes são comumente usados em conjunto com fluxos de dados e armazenamento, ambos sem restrições, sem esquemas de construção ou processamento.

Como funciona?

Um data warehouse começa com os dados em si, que são coletados de fontes internas e externas. Os dados são, normalmente, armazenados em um data warehouse através de um processo de extração, transformação e carregamento (ETL, na sigla em inglês), no qual informações são extraídas da fonte, transformadas em dados de alta qualidade e, então, carregados para um armazém. Empresas realizam esse processo regularmente para manter os dados atualizados e prontos para o próximo passo.

Quando uma organização está pronta para usar seus dados em análises ou relatórios, o foco passa do data warehouse para ferramentas de business intelligence. Tecnologias como visual analytics e data exploration são utilizadas para ajudar empresas a ganhar insights importantes com os dados.