O que faz um Engenheiro De Dados?
Os engenheiros de dados têm a tarefa principal de transformar os dados em um formato que possa ser facilmente analisado. Para isso, desenvolvem, mantêm e testam infraestruturas para geração de dados. Os engenheiros de dados trabalham em estreita colaboração com os cientistas de dados e, em grande parte, são responsáveis pela arquitetura de soluções que permitem que os cientistas de dados façam seu trabalho.
Os engenheiros de dados geralmente têm bacharelado em ciência da computação, tecnologia da informação ou matemática aplicada, bem como algumas certificações de engenharia de dados, como Engenheiro de Dados Certificado pela IBM ou Profissional Certificado pela Google. Além disso, os engenheiros de dados têm uma infinidade de habilidades técnicas e a capacidade de abordar problemas de forma criativa.
- Criar e manter a arquitetura ideal de pipeline de dados.
- Reunir conjuntos de dados grandes e complexos que atendam aos requisitos de negócios funcionais/não funcionais.
- Identificar, projetar e implementar melhorias de processos internos: automatizar processos manuais, otimizar o fornecimento de dados, redesenhar a infraestrutura para maior escalabilidade, etc.
- Criar a infraestrutura necessária para extrair, transformar e carregar dados de forma ideal a partir de uma ampla variedade de fontes de dados usando as tecnologias de 'big data' SQL e AWS.
- Criar ferramentas analíticas que usem o pipeline de dados para fornecer insights acionáveis sobre aquisição de clientes, eficiência operacional e outras métricas de desempenho de negócios importantes.
- Trabalhar com as partes interessadas, incluindo as equipes Executiva, de Produtos, de Dados e de Design para ajudar com problemas técnicos relacionados a dados e dar suporte às necessidades de infraestrutura de dados.
- Manter os nossos dados separados e seguros além das fronteiras nacionais por meio de vários data centers e regiões da AWS.
- Criar ferramentas de dados para analistas e membros da equipe de cientistas de dados que os ajudem a construir e otimizar o nosso produto em um líder inovador do setor.
- Trabalhar com especialistas em dados e análises para buscar maior funcionalidade nos nossos sistemas de dados.
- Conhecimento prático avançado de SQL e experiência de trabalho com bancos de dados relacionais, criação de consultas (SQL), bem como familiaridade prática com uma variedade de bancos de dados.
- Experiência em construção e otimização de pipelines, arquiteturas e conjuntos de dados de 'big data'.
- Experiência em realização de análises de causa-raiz em dados e processos internos e externos para responder perguntas de negócios específicas e identificar oportunidades de melhoria.
- Fortes habilidades analíticas relacionadas ao trabalho com conjuntos de dados não estruturados.
- Capacidade de criar processos compatíveis com transformação de dados, estruturas de dados, metadados, gestão de dependências e de cargas de trabalho.
- Um histórico bem-sucedido de manipulação, processamento e extração de valor de grandes conjuntos de dados desconectados.
- Conhecimento prático de enfileiramento de mensagens, processamento de fluxos e armazenamentos de dados de 'big data' altamente escalonáveis.
- Fortes habilidades organizacionais e de gestão de projetos.
- Experiência em dar suporte e trabalhar com equipes multifuncionais em um ambiente dinâmico.
- Estamos procurando um candidato com mais de 5 anos de experiência na função de Engenheiro de Dados, com diploma de pós-graduação em Ciência da Computação, Estatística, Informática, Sistemas de Informação ou outra área quantitativa. Também é preciso ter experiência no uso dos seguintes softwares/ferramentas:
- Experiência com ferramentas de big data: Hadoop, Spark, Kafka, etc.
- Experiência com bancos de dados relacionais em SQL e NoSQL, incluindo Postgres e Cassandra.
- Experiência com pipeline de dados e ferramentas de gestão de fluxos de trabalho: Azkaban, Luigi, Airflow, etc.
- Experiência com serviços em nuvem da AWS: EC2, EMR, RDS, Redshift
- Experiência com sistemas de processamento de fluxos: Storm, Spark-Streaming, etc.
- Experiência com linguagens de script orientadas a objetos/funções de objetos: Python, Java, C++, Scala, etc.
Salários de Engenheiro De Dados perto de Brasil
Média salarial
Plano de carreira de Engenheiro De Dados
Saiba como se tornar um Engenheiro De Dados e confira as habilidades e a formação necessárias para ter sucesso, além da remuneração esperada em cada nível de carreira.
Distribuição de anos de experiência
Perguntas frequentes sobre as funções e as responsabilidades do cargo de Engenheiro De Dados
Ao trabalhar como Engenheiro De Dados, as habilidades mais comuns de que você precisará para desempenhar seu trabalho e ter sucesso na carreira são SQL Server, Big Data, Python, ETL e Shell Scripting.
- administrador(a) de banco de dados