NOSSO NEGÓCIO
Aqui na Confidencial (Apenas para Cadastrados), aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam.
Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado.
Nosso maior sonho? Impactar empresas e pessoas.
O QUE ESPERAMOS DE VOCÊ?
Estamos buscando um Engenheiro de Dados Databricks qualificado para integrar nossa equipe de engenharia de dados. Nesta função, você será responsável por construir, otimizar e manter pipelines de dados escaláveis e soluções analíticas utilizando a plataforma Databricks Unified Analytics. Trabalhará em estreita colaboração com cientistas de dados, analistas e stakeholders para apoiar a tomada de decisões baseada em dados.
RESPONSABILIDADES:
Projetar, desenvolver e implantar pipelines de dados ETL/ELT escaláveis no Databricks usando PySpark, SQL e Delta Lake.
Otimizar o desempenho dos pipelines de dados e gerenciar fluxos de trabalho utilizando Jobs, Workflows e notebooks do Databricks.
Ingerir, limpar, transformar e processar dados estruturados e não estruturados provenientes de diversas fontes (armazenamento em nuvem, APIs, RDBMS, etc.).
Implementar verificações de qualidade dos dados, validações e mecanismos de monitoramento.
Colaborar com arquitetos de dados, analistas e usuários de negócios para traduzir requisitos em modelos e pipelines de dados.
Gerenciar e monitorar a execução dos pipelines com ferramentas como Databricks Workflows ou Airflow.
Garantir governança de dados, rastreabilidade e conformidade com boas práticas de segurança e privacidade (ex.: Unity Catalog, controle baseado em funções).
Contribuir para a melhoria contínua da plataforma de dados por meio de automação, reutilização e documentação.
PARA ESSA OPORTUNIDADE VOCÊ PRECISA TER:
- Experiência prática em engenharia de dados, trabalhando com Databricks.
Experiência em PySpark, SQL e processamento distribuído de dados.
Compreensão sólida do Delta Lake, arquitetura Lakehouse e princípios de modelagem de dados.
Experiência com plataformas em nuvem como AWS, Azure ou GCP (Databricks em qualquer nuvem é aceitável).
Familiaridade com pipelines CI/CD e controle de versão (ex.: Git, GitHub, Azure DevOps).
Experiência com ferramentas de orquestração (ex.: Airflow, Cloud Composer, Workflows do Databricks).
Conhecimento sobre formatos modernos de dados como Parquet, Avro e JSON.
Habilidades avançadas para resolução de problemas e depuração em ambientes distribuídos.
SERIAM PONTOS DE DESTAQUE SE VOCÊ TIVER:
Experiência com Unity Catalog, Databricks SQL ou integrações via Partner Connect.
Entendimento sobre DevOps, containerização (Docker/Kubernetes) ou infraestrutura como código (Terraform).
Familiaridade com ferramentas BI como Tableau, Power BI ou Looker.
Exposição a fluxos de trabalho de machine learning ou MLOps no Databricks é um diferencial.
PARA UMA VIDA MAIS SAUDÁVEL, TE PROPORCIONAMOS:
- Política de Home Office
- Plano de saúde, com cobertura nacional
- Plano odontológico
- Convênio com Sesc
- Wellhub
TE APOIAMOS COM:
- Vale refeição ou alimentação
- Auxílio creche
- Participação nos resultados
- Licença parental estendida
- Plano de desenvolvimento individual/anual com subsídio para capacitação
- Treinamento do idioma inglês
- Programa de intercâmbio (USA)
Nossas vagas são para todos!
Valorizamos a diversidade, pois ela impulsiona a inovação, fortalece nossas soluções e torna nosso ambiente mais inclusivo. Cada diferença é uma oportunidade de aprendizado, tornando nosso dia a dia mais inspirador e nossas entregas ainda melhores.
