O auge do sucesso de qualquer organização hoje reside na rapidez com que ela pode processar dados, razão pela qual a necessidade de pipelines de dados altamente escaláveis está se tornando cada vez mais crítico para as operações de uma empresa. Pipelines de dados são a solução moderna para garantir escala na ingestão, transformação e análise de grandes volumes de dados. Uma arquitetura adequada de pipeline de dados pode acelerar significativamente a disponibilidade de dados de alta qualidade para sistemas e aplicativos downstream.
Uma pipeline de dados é uma série de etapas de processamento para preparar dados corporativos para análise. As organizações têm um grande volume de dados de várias fontes, como aplicativos, dispositivos de Internet das Coisas (IoT) e outros canais digitais. No entanto, os dados brutos são inúteis; eles devem ser movidos, classificados, filtrados, reformatados e analisados para business intelligence.
Um pipeline de dados inclui várias tecnologias para verificar, resumir e encontrar padrões nos dados para informar as decisões de negócios. Pipelines de dados bem organizados oferecem suporte a vários projetos de big data, como visualizações de dados, análises exploratórias de dados e tarefas de machine learning.
Neste artigo, será desenvolvido um projeto de construção de uma pipeline para dados das Olimpíadas de Tóquio de 2021, utilizando a ferramenta Azure da Microsoft, onde serão configurados serviços para a extração e armazenamento dos dados brutos em um Data Lake, a transformação destes dados através de um processo de ETL e armazenamento dos dados transformados em um outro Data Lake, assim como a ingestão destes dados em serviços para análises posteriores em cima dos dados transformados, seguindo o fluxograma da imagem abaixo:
Para este projeto, serão necessários dois repositórios de dados, onde serão armazenados os dados brutos e os dados transformados. Para isto, será necessários criar uma Storage Account no Azure que será usada para instanciarmos um Container que conterá as estruturas de Data Lake Gen 2.
Para a criação da Storage Account no Azure, encontramos este serviço pesquisando “storage account” na barra de pesquisa do Azure. Ao clicar em criar uma nova Storage Account, temos a seguinte página:
Os parâmetros que serão preenchidos e seus valores são os seguintes:
Os demais parâmetros ficam com seus valores padrão inseridos pelo Azure e a Storage Account pode ser criada: