.
Responsabilidades e atribuições
-
Desenvolver e manter pipelines de dados batch e streaming em ambiente Google Cloud Platform (GCP);
-
Construir fluxos de ingestão e transformação utilizando Dataflow e Apache Beam;
-
Integrar dados provenientes de diferentes fontes, incluindo Oracle, SQL Server, MySQL, ambientes on-premise e buckets externos;
-
Trabalhar com BigQuery para processamento, transformação e otimização de dados;
-
Organizar e estruturar dados em Cloud Storage seguindo arquitetura de Data Lake (Raw, Bronze, Silver e Gold);
-
Orquestrar workflows e pipelines utilizando Cloud Composer (Airflow);
-
Desenvolver processos de ETL/ELT e transformações analíticas utilizando SQL;
-
Desenvolver automações e integrações de dados utilizando Python;
-
Garantir a qualidade e confiabilidade dos dados processados;
-
Apoiar iniciativas de migração de relatórios e ativos analíticos para uma nova plataforma de Data Visualization;
-
Atuar em conjunto com times de Engenharia, Analytics, Ciência de Dados e áreas de negócio.
Requisitos e qualificações
-
Experiência com Google Cloud Platform (GCP);
-
Conhecimento em BigQuery;
-
Experiência com Dataflow e Apache Beam;
-
Experiência com Cloud Storage e Pub/Sub;
-
Vivência com Cloud Composer (Airflow) ou ferramentas equivalentes de orquestração;
-
Conhecimento em Python para desenvolvimento de pipelines e processos ETL/ELT;
-
SQL avançado para transformação e manipulação de dados;
-
Experiência com integração de dados em bancos relacionais como Oracle, SQL Server e MySQL;
-
Conhecimento em arquitetura de Data Lake (Raw, Bronze, Silver e Gold);
-
Experiência na construção e manutenção de pipelines de dados;
Diferencial:
-
Conhecimento em Dataform, dbt ou ferramentas similares;
-
Experiência com processamento de dados em streaming;
-
Conhecimento de boas práticas de qualidade e governança de dados;
-
Experiência em projetos de migração de BI, Analytics ou Data Visualization;
-
Conhecimento em otimização de performance e custos em ambientes GCP.
Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.
We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.
To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.
We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.
Join us and be part of the AI-driven revolution.
