A64133286190_Engenheiro de Dados Databricks Pleno (Hibrido) - 198184-1

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks para atuar no desenvolvimento e evolução de pipelines de dados em ambientes distribuídos, participando de todo o ciclo de processamento, desde a ingestão até a disponibilização de dados para consumo analítico e operacional.

O profissional fará parte de um time focado na construção de soluções escaláveis e de alta performance em ambiente cloud, trabalhando com grandes volumes de dados, múltiplas fontes de informação e diferentes formatos de arquivos.

Principais responsabilidades

• Desenvolver pipelines de ingestão, transformação e processamento de dados utilizando Databricks e Apache Spark;

• Implementar rotinas de leitura, escrita e transformação de dados em diferentes origens e destinos;

• Trabalhar com dados estruturados e não estruturados;

• Desenvolver consultas SQL para transformação, consolidação e análise de dados;

• Construir e otimizar cargas de dados em ambientes distribuídos;

• Aplicar boas práticas de performance em Spark e Databricks;

• Utilizar Delta Lake para armazenamento, versionamento e gerenciamento de dados;

• Atuar na análise e resolução de problemas relacionados à performance, particionamento e processamento distribuído;

• Integrar pipelines de dados com ferramentas de orquestração, como Azure Data Factory;

• Colaborar com arquitetos, analistas e demais engenheiros na definição e implementação de soluções de dados.

Requisitos obrigatórios

• Experiência com Databricks;

• Conhecimento em Apache Spark;

• Sólidos conhecimentos em SQL;

• Experiência com Window Functions, como:

• ROW_NUMBER;

• RANK;

• DENSE_RANK;

• LAG;

• LEAD;

• LAST_VALUE;

• Conhecimento em modelagem e manipulação de dados;

• Conhecimento sobre tipos de dados e conversões;

• Experiência com leitura e gravação de arquivos em diferentes formatos;

• Conhecimento em processamento distribuído;

• Entendimento dos conceitos de Cluster Computing;

• Conhecimento sobre Narrow e Wide Transformations;

• Experiência com Shuffle e seus impactos na performance;

• Conhecimento em Projection (Column Pruning);

• Conhecimento em Predicate Pushdown;

• Experiência com Delta Lake;

• Conhecimento sobre versionamento e recuperação de dados (Time Travel);

• Experiência com os formatos Parquet e Avro.

Diferenciais

• Experiência com Azure Data Factory (ADF);

• Vivência em arquiteturas Lakehouse;

• Experiência com Azure Data Lake;

• Conhecimento em otimização de workloads Spark;

• Experiência em projetos com grandes volumes de dados;

• Conhecimento em processamento de streaming de dados;

• Experiência com CI/CD para pipelines de dados.
  
  Local:
  Hibrido – Santo Amaro
  
  Competências esperadas

• Excelente capacidade analítica e de resolução de problemas;

• Autonomia para desenvolver soluções técnicas;

• Facilidade para troubleshooting e análise de performance;

• Organização e atenção à qualidade e integridade dos dados;

• Boa comunicação e facilidade para atuar em equipes multidisciplinares;

• Perfil colaborativo e capacidade de trabalhar em ambientes dinâmicos e de constante evolução.