Sênior Data Engineer | Analytics Engineer

Sobre a vaga:

O Engenheiro de Dados Databricks será responsável por projetar, implementar e manter
pipelines de dados escaláveis na plataforma Databricks. Esta função envolve trabalhar de perto
com cientistas de dados, analistas e outras partes interessadas para garantir a qualidade dos
dados, otimizar o desempenho e habilitar análises avançadas.

Responsabilidades:

• Projetar e desenvolver processos ETL e pipelines de dados usando Databricks.
• Colaborar com funcionais e analistas para entender os requisitos de dados e entregar soluções.
• Otimizar e ajustar clusters Databricks para desempenho e eficiência de custos.
• Implementar verificações de qualidade de dados e garantir a integridade dos dados.
• Desenvolver e manter documentação para pipelines de dados e processos.
• Monitorar e solucionar problemas de pipelines de dados e gargalos de desempenho.
• Manter-se atualizado com as últimas tendências e melhores práticas em engenharia de dados e Databricks.

Qualificações:

• Bacharelado em Ciência da Computação, Tecnologia da Informação ou área relacionada.
• Experiência comprovada como Engenheiro de Dados, com foco em Databricks e Spark.
• Forte conhecimento em SQL e experiência com bancos de dados relacionais.
• Proficiência em linguagens de programação como Python, Scala ou Java.
• Experiência com plataformas em nuvem (por exemplo, AWS, Azure, Google Cloud) e seus serviços de dados.
• Compreensão dos conceitos e arquitetura de data warehousing.
• Excelentes habilidades de resolução de problemas e atenção aos detalhes.
• Fortes habilidades de comunicação e capacidade de trabalhar de forma colaborativa em um ambiente de equipe.

Requisitos Técnicos:

• Experiência avançada com Databricks, incluindo criação e gerenciamento de notebooks, clusters, jobs e tarefas de automação.
• Conhecimento aprofundado de Apache Spark, incluindo otimização e técnicas avançadas de
  performance.
• Experiência com Databricks Delta Lake para otimização de armazenamento e gerenciamento de
  dados.
• Conhecimento em segurança e governança de dados no Databricks, incluindo controle de acesso, auditoria e conformidade.
• Habilidade em realizar troubleshooting avançado e resolução de problemas em ambientes Databricks

Diferenciais:

• Certificação Databricks é um diferencial.
• Capacidade de implementar e gerenciar pipelines de dados contínuos usando Delta Live Tables
• Experiência com Delta Lake e arquiteturas de data lakehouse.
• Experiência com integração de Databricks com outras ferramentas de BI e análise, como Power BI, Tableau ou Looker.
• Familiaridade com o uso de Databricks para machine learning e integração com bibliotecas como MLflow.
• Familiaridade com Unity Catalog
• Experiência em automação de deployment e integração contínua (CI/CD) no ambiente Databricks.

Perfil Desejado:

• Comunicativo
• Independente
• Senso de Dono

Informações adicionais:

• Localização: São Paulo – SP;
• Modelo de trabalho Híbrido 2x na semana em SP – Shopping Cidade Jardim.

Se interessou pela vaga? envie seu currículo atualizado para: [email protected] com a pretensão salarial e mencionando no título “Sênior Data Engineer | Analytics Engineer”