* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)
* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.
Área: Tecnologia da Informação
Nível: Senior
Sobre a Oportunidade
Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para integrar um time de alta performance em um projeto de grande escala e longo prazo. Você será peça-chave na arquitetura e sustentação de uma plataforma de dados robusta, utilizando o que há de mais moderno no ecossistema Azure Databricks.
Buscamos um perfil com sólida experiência em computação distribuída, automação e que queira atuar com governança de dados utilizando Unity Catalog.
Responsabilidades:
- Arquitetura e Sustentação: Projetar, desenvolver e manter pipelines de dados escaláveis utilizando a plataforma Databricks Unity Catalog.
- Engenharia de Dados: Construir pipelines ETL/ELT robustos, realizando a ingestão de diversas fontes e transformando dados para atender a requisitos complexos de negócio.
- Otimização e Performance: Desenvolver e otimizar jobs em Apache Spark para processamento de grandes volumes, focando em eficiência e performance.
- Inovação e Reuso: Criar frameworks e bibliotecas reutilizáveis para acelerar o desenvolvimento e garantir a padronização técnica do time.
- Governança e Qualidade: Implementar padrões de Medallion Architecture e garantir a integridade dos dados através de monitoramento e observabilidade (Datadog/Grafana).
- Colaboração Técnica: Atuar em parceria com times de Produto e Analytics para traduzir necessidades de negócio em soluções técnicas de alto impacto.
Requisitos obrigatórios:
- Experiência Sênior: Sólida trajetória em Engenharia de Dados, com foco em Azure Databricks e Apache Spark.
- Domínio Técnico: Proficiência em Python (PySpark) e SQL (Spark SQL).
- Ecossistema Azure: Experiência prática com Azure Data Lake Storage (ADLS), Azure Data Factory e Azure Key Vault.
- Arquitetura Moderna: Conhecimento em Delta Lake e padrões de arquitetura Medallion (Bronze, Silver, Gold).
- DataOps: Domínio de Git (estratégias de branch e PRs) e fluxos de CI/CD para pipelines de dados.
- Inglês: Avançado/fluente.
O que te destaca:
- Experiência prática com Unity Catalog (Governança e Linhagem).
- Conhecimento em Infraestrutura como Código (Terraform/Terragrunt).
- Certificações Databricks ou Azure Data Engineer Associate.
- Experiência com processamento em tempo real (Structured Streaming / Event Hubs).
Tem o perfil para esse desafio? Candidate-se e venha fazer parte do nosso time!
Pagamento: Até R$15.000,00 por mês
Pergunta(s) de seleção:
- Possui inglês avançado/fluente?
- Quantos anos de experiência você possui com Azure Databricks?
- Qual seu nível prático com PySpark?
- Você já implementou arquitetura Medallion (Bronze, Silver, Gold)?
- Já trabalhou com Unity Catalog?
- Qual é sua pretensão salarial mensal, em R$, em modelo PJ?
Local do trabalho: Remoto