Engenheiro(a) de Dados Pleno
- Local
- Contrato
- Salário
- Publicada
Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos. Principais responsabilidades: Desenvolver e manter pipelines de dados utilizando Databricks e Spark; Realizar ingestão, transformação e processamento de dados; Trabalhar com diferentes fontes e formatos de arquivos; Aplicar boas práticas de modelagem e manipulação de dados; Contribuir para a otimização de processos e performance dos workloads de dados. Requisitos obrigatórios: Experiência prática com Databricks e Apache Spark ; Sólidos conhecimentos de SQL , incluindo Window Functions; Conhecimento de modelagem e manipulação de dados ; Experiência com processamento distribuído e Cluster Computing ; Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown ; Experiência com Delta Lake , incluindo versionamento e Time Travel ; Conhecimento dos formatos Parquet e Avro ; Experiência com leitura e gravação de dados em diferentes formatos. Diferenciais: Experiência com Azure Data Factory ; Vivência em ambientes Lakehouse e Azure Data Lake ; Conhecimento em otimização de workloads Spark; Experiência com grandes volumes de dados; Conhecimento em streaming de dados ; Experiência com CI/CD para pipelines de dados . Tem interesse? Preencha o formulário ou envie seu currículo para: , com o assunto: “Engenheiro(a) de Dados Pleno” Innolevels | Tecnologia aplicada por pessoas para pessoas.