Um armazém de dados (data warehouse) é uma base de dados central para onde fluem todos os teus dados (análise, CRM, anúncios, email, vendas). Em vez de integrares ferramenta a ferramenta, todas as ferramentas enviam dados para o armazém. O armazém passa a ser a fonte única de verdade. As ferramentas de relatórios e as equipas vão buscar os dados ao armazém, não às ferramentas individuais. Isto elimina silos e permite análises complexas entre ferramentas. Este capítulo explica quando e como montar um armazém de dados.
O que é e o que faz um armazém de dados
Um armazém de dados é: (1) uma base de dados central (BigQuery, ou uma plataforma de dados na cloud), (2) canais de dados que levam os dados das ferramentas para o armazém, (3) esquemas que organizam os dados de forma consistente, (4) uma camada de acesso onde analistas e ferramentas consultam o armazém.
Vantagens: fonte única de verdade, consultas flexíveis (sem ficares limitado aos relatórios incluídos nas ferramentas), conservação do histórico de dados, eficiência de custos em grande escala (mais barato do que pagar o armazenamento a cada ferramenta) e capacidade de análise avançada (aprendizagem automática, previsões).
Arquitetura de um armazém de dados
Camada bruta: cópia exata dos dados dos sistemas de origem. Sem transformação. Preserva os dados originais para o caso de precisares de os reprocessar.
Camada intermédia: os dados são limpos, sem duplicados e validados. As inconsistências são corrigidas. Os dados ficam consistentes, mas ainda não estão prontos para análise.
Camada de análise: os dados são transformados em tabelas pensadas para análise. Exemplos: tabelas de factos (conversões com chaves para as outras dimensões) e tabelas de dimensões (clientes, produtos, campanhas). É isto que os analistas consultam.
Como montar um armazém de dados
Passo 1: escolhe a plataforma do armazém.
BigQuery (Google): simples, bom para a maioria das empresas, paga-se por GB consultado.
Plataformas de dados na cloud de gama alta: potentes e caras, boas para grandes empresas com necessidades complexas.
Plataformas de dados de grandes fornecedores de cloud: potentes e mais baratas do que as de gama alta em grande escala.
Uma base de dados de código aberto: gratuita, adequada para volumes de dados pequenos a médios.
Passo 2: extrai os dados das tuas ferramentas.
Usa ferramentas de ETL (Extract-Transform-Load, ou extrair, transformar e carregar). Estas ferramentas ligam-se aos teus sistemas de origem e copiam os dados para o armazém automaticamente (todos os dias, todas as horas, em tempo real).
Passo 3: desenha o teu esquema.
Define as tabelas e as relações: tabela de clientes, tabela de encomendas, tabela de artigos das encomendas, tabela de campanhas. Como se ligam? Este desenho determina que perguntas consegues responder de forma eficiente.
Passo 4: define acessos e governação.
Quem pode consultar o armazém? Tem acesso a todos os dados ou só aos do seu departamento? Define permissões. Documenta o esquema para os analistas saberem o que os dados significam. Acompanha as consultas para garantir o desempenho.
Quando montar um armazém de dados
Cedo demais: 1 a 2 ferramentas, equipa de 3 pessoas. O esforço é demasiado.
Na altura certa: mais de 5 ferramentas, equipa com mais de 5 pessoas e perguntas complexas entre várias ferramentas com regularidade. O custo do armazém justifica-se pelo tempo poupado e pelas conclusões obtidas.
Obrigatório: mais de 10 ferramentas, equipa com mais de 10 pessoas e cultura orientada por dados. O armazém é uma infraestrutura necessária.
Desafios da implementação de um armazém de dados
Complexidade: os armazéns são tecnicamente complexos. Exigem engenheiros de dados para os manter. É um desafio de contratação para empresas pequenas.
Qualidade dos dados: lixo à entrada, lixo à saída. Dados maus no armazém dão conclusões más. A validação e a limpeza dos dados são críticas.
Custo: pode ser caro (o BigQuery pode custar entre 100 e 1000 $ ou mais por mês em grande escala). Exige otimização e governação para controlar os custos.
Devo montar um armazém de dados ou usar as integrações incluídas numa ferramenta de BI?
Integrações de uma ferramenta de BI: simples, rápidas de configurar (horas), com pouca personalização. Armazém: mais trabalho para configurar (semanas ou meses), muito flexível, escala. Para 3 ou 4 ferramentas, as integrações de BI chegam. Para mais de 5 ferramentas ou análises complexas, vale a pena o armazém. Começa pelas integrações e passa para o armazém quando ficares sem margem.
Quanto custa um armazém de dados?
BigQuery: 6,25 $ por TB consultado (valor aproximado). Plataformas de dados na cloud de gama alta: 2 a 4 $ por crédito de computação usado (depende do tamanho do armazém). Plataformas de grandes fornecedores de cloud: 1 a 4 $ por hora. Os custos variam com o volume de dados e a complexidade das consultas. Para a maioria das empresas: 500 a 2000 $ por mês em grande escala. Empresas mais pequenas: 50 a 500 $ por mês. Reserva orçamento para o trabalho de engenharia de dados (a parte mais cara).
Qual é a diferença entre um armazém de dados e um data lake?
Armazém: estruturado, limpo, otimizado para consultas. Data lake: não estruturado, em bruto, guarda tudo (mais barato). Os armazéns servem para análise. Os data lakes servem para guardar dados em bruto. A abordagem moderna combina os dois (dados em bruto no data lake, dados limpos no armazém). Começa com um armazém e passa para um data lake se os custos de armazenamento dispararem.
Como garanto a qualidade dos dados no meu armazém?
Regras de validação: verifica duplicados, valores nulos e valores fora do intervalo. Testa os canais de dados: o fluxo de dados bate certo com os totais esperados? Faz auditorias regulares: compara os totais do armazém com os totais dos sistemas de origem. Corrige as discrepâncias. Documenta as anomalias. Atribui a responsabilidade pela qualidade dos dados a uma pessoa ou equipa.
Consigo consultar o meu armazém para responder a perguntas pontuais sem ser engenheiro de dados?
Sim, se o esquema estiver bem desenhado e documentado. Escreve consultas SQL para responder às perguntas. Para quem não é técnico: usa ferramentas de BI com painéis já feitos. Para perguntas mais pontuais: os engenheiros de dados ou de análise escrevem o SQL. Contrata a função de engenharia de análise (faz a ponte entre a engenharia de dados e a análise) para democratizar o acesso.
Com que frequência devem os dados atualizar no meu armazém?
O normal é diariamente (corre durante a noite). Tempo real é possível, mas caro. Para a maioria das análises, diário chega. Para painéis operacionais (pipeline de vendas), pode ser preciso de hora a hora ou em tempo real. Começa com diário; passa a horário só se o negócio precisar e puder pagar.