Sustentação de Dados – com Databricks, da sala de crise diária à sustentação inteligente de dados
Uma das maiores varejistas de moda do país atua por meio de um amplo ecossistema de marcas, canais digitais e centenas de lojas distribuídas pela América Latina. Com milhares de colaboradores, milhões de clientes e uma operação omnichannel de grande complexidade, a companhia utiliza dados como elemento essencial para apoiar decisões estratégicas, otimizar processos e proporcionar experiências que encantam seus públicos. Em um negócio dessa magnitude, a disponibilidade, a qualidade e a confiabilidade das informações são fundamentais para garantir eficiência operacional, competitividade e capacidade de crescimento. Foi nesse contexto que a Aggrandize iniciou sua atuação. O desafio Uma operação orientada por incidentes e não por previsibilidade Antes da atuação da Aggrandize, a sustentação do ambiente de dados enfrentava desafios significativos. Grande parte dos esforços estava concentrada em resolver problemas já percebidos pelo negócio, em uma dinâmica operacional predominantemente reativa. Esse cenário é bastante comum em organizações que não possuem uma estrutura dedicada de sustentação de dados. Muitas vezes, o mesmo time responsável pelo desenvolvimento das soluções também precisa sustentá-las, reduzindo a capacidade de inovação e dificultando a percepção do dado como um ativo estratégico para o negócio. A entrada da Aggrandize De uma atuação reativa para uma operação especializada em DataOps A Aggrandize assumiu o desafio de estruturar uma operação especializada em sustentação de dados, incorporando práticas de observabilidade, automação, governança e engenharia de plataforma. O objetivo não era apenas reduzir incidentes, mas transformar a forma como a plataforma era operada, tornando-a previsível, escalável e preparada para acompanhar a evolução do negócio. As soluções implementadas Monitoramento proativo A Aggrandize desenvolveu um acelerador proprietário capaz de realizar o monitoramento completo do ambiente de Data & Analytics. A solução contempla: Monitoramento do Databricks; Monitoramento do Data Factory; Monitoramento do Power BI; Acompanhamento da capacidade computacional utilizada; Alertas antecipados sobre degradação de performance; Visibilidade contínua da disponibilidade dos serviços. A operação deixou de atuar apenas após uma falha acontecer e passou a antecipar riscos antes que impactassem os usuários e as áreas de negócio. Troubleshooting especializado Foram desenvolvidos painéis operacionais que oferecem maior granularidade sobre eventos, consumo de recursos, falhas e comportamento do ambiente. Esses dashboards permitem identificar rapidamente a causa raiz dos problemas, reduzindo significativamente o tempo necessário para análise e resolução. Governança operacional automatizada Anteriormente, toda a concessão e revogação de acessos era realizada manualmente por meio da interface do Databricks. A Aggrandize implantou um acelerador próprio que automatizou completamente esse processo. Hoje, a concessão, revogação e monitoramento de acessos são realizados de forma automatizada, proporcionando: Maior segurança; Rastreabilidade; Agilidade operacional; Redução de atividades manuais. Garantia da qualidade dos dados Foram implementados guardrails na plataforma que permitem validar regras de negócio e padrões de qualidade ao longo das esteiras de processamento. Esses mecanismos auxiliam os projetos a disponibilizar informações corretas, consistentes e confiáveis para consumo das áreas de negócio. Evolução contínua da plataforma A atuação da Aggrandize foi além da sustentação operacional. Também contemplou iniciativas de: Revisão arquitetural; Definição de padrões; Implantação de melhorias; Atualizações tecnológicas; Otimização da infraestrutura; Acompanhamento contínuo da maturidade da plataforma. Dessa forma, a sustentação passou a atuar como uma habilitadora da evolução tecnológica. Esteira DevOps para Analytics Foi construída uma esteira DevOps específica para o ecossistema analítico, contemplando Databricks, Data Factory e Power BI. A aplicação de práticas de engenharia de software aos ambientes de dados proporcionou: Controle de versões; Padronização das entregas; Redução de erros em implantações; Maior rastreabilidade; Ganhos de qualidade e produtividade. Redução da dependência de pessoas específicas A documentação dos processos, a automação das operações e a criação de mecanismos de monitoramento diminuíram significativamente a dependência de conhecimentos concentrados em profissionais específicos. O conhecimento passou a estar incorporado aos processos, aceleradores e práticas da operação. Os resultados alcançados A transformação trouxe impactos relevantes para a operação. O backlog inicial superior a 300 chamados passou a permanecer frequentemente zerado ou próximo de zero. As salas de crise, antes realizadas diariamente e envolvendo cerca de 20 profissionais, foram reduzidas para aproximadamente 3 participantes em situações pontuais. Um dos processos mais relevantes para o negócio, responsável pela reclassificação de produtos, deixou de consumir aproximadamente 15 dias de processamento e passou a ser executado de forma automatizada em apenas 4,5 horas. Também foram observados ganhos financeiros decorrentes da redução de retrabalho, diminuição das equipes mobilizadas para incidentes e racionalização do uso da infraestrutura computacional. Mais importante do que reduzir custos, a operação conquistou previsibilidade, confiança e capacidade para sustentar novas iniciativas de dados. O diferencial Aggrandize Grande parte das empresas concentra seus esforços apenas na construção de projetos de dados. A Aggrandize acredita que a geração de valor só acontece de forma sustentável quando existe uma operação dedicada para manter o ambiente saudável, seguro e em constante evolução. Nossa combinação de aceleradores proprietários, monitoramento inteligente, governança automatizada, práticas de DevOps para Analytics e evolução contínua da plataforma permite que as equipes de desenvolvimento permaneçam focadas em inovação, enquanto uma operação especializada garante estabilidade, qualidade e disponibilidade dos dados. A Aggrandize transformou uma operação guiada por crises em uma plataforma de dados monitorada, automatizada e preparada para crescer junto com o negócio. Sua equipe deveria estar resolvendo incidentes ou criando novas oportunidades de negócio? Transforme a sustentação de dados em um motor de crescimento com a Aggrandize.
