Engenheiro de Dados III

O que procuramos?

Atribuições principais:

Construção e implementações de arquiteturas com Data Warehouse e Datalake;

Liderar como referência soluções técnicas de Data Analytics;

Criar e definir modelos de repositórios de dados;

Desenvolver estratégias de aquisição de dados, recuperação de informação, implementação de dutos de processamento e armazenamento;

Apoiar nas definições técnicas do ecossistema de Big Data;

Desenvolver e manter processos de consumo, tratamento, controle/segurança e disponibilização de dados para diferentes consumidores;

Levantando possíveis riscos de acordo com o parecer técnico pelas áreas de apoio emitidas;

Apoiar/viabilizar testes de desempenho (desempenho);

Apoiar a migração de dados de sistemas legados para novas soluções.

Requisitos:

• Apache Airflow (orquestração e ingestão): experiência sólida em desenvolvimento de DAGs em Python; uso de operadores e providers para Databricks (DatabricksSubmitRunOperator / DatabricksRunNowOperator) e Azure; sensors, hooks e conexões; agendamento, backfill e catchup; idempotência e tratamento de reprocessamentos; monitoramento, alertas e retries; boas práticas de estruturação de DAGs (modularidade, parametrização, uso criterioso de XComs).
• Databricks: domínio de PySpark e Spark SQL; arquitetura Medallion (bronze/silver/gold); Delta Lake (transações ACID, time travel, schema evolution, OPTIMIZE/VACUUM); integração de jobs Databricks disparados e monitorados pelo Airflow; Unity Catalog para governança, catálogo e controle de acesso.
• Azure: ADLS Gen2 como data lake; Azure Key Vault para gestão de segredos (incluindo integração com conexões do Airflow); autenticação via Entra ID e service principals; noções de rede (private endpoints, VNet injection do workspace).
• Linguagens: Python avançado e SQL avançado.
• Ingestão e integração: pipelines de ingestão orquestrados via Airflow conectando bancos relacionais e ERPs via JDBC, APIs REST e arquivos (CSV, Parquet, JSON); cargas incrementais e CDC, incluindo Auto Loader.
• Modelagem de dados: modelagem dimensional (star schema) para camadas de consumo analítico; particionamento, tuning de queries e otimização de custo/performance de clusters.
• DevOps de dados: versionamento com Git; CI/CD para DAGs e notebooks/jobs (Azure DevOps ou GitHub Actions); testes de DAGs e validação de qualidade de dados (Delta Live Tables expectations, Great Expectations ou similar).

Diferenciais:

• Experiência com Airflow gerenciado em ambiente Azure
• Structured Streaming e Delta Live Tables para cenários near-real-time.
• Suporte a workloads de ML: feature engineering, MLflow e colaboração com cientistas de dados.
• Databricks SQL Warehouse e integração com ferramentas de BI (Power BI ou similar.
• Infraestrutura como código (Terraform) e práticas de FinOps (dimensionamento de clusters, controle de DBUs).

Localidade da posição: Novo Hamburgo, RS.

Quem é a Confidencial (Apenas para Cadastrados)?

Somos uma consultoria especializada em evolução digital. Mas, acima de tudo, somos uma empresa de gente. Gente que ouve antes de propor. Que vai ao essencial antes de apresentar solução. Que mede sucesso pelo que mudou de verdade, não pelo que foi implementado.

Com mais de três décadas de história e presença global, acreditamos que a verdadeira transformação começa dentro: dentro das pessoas, das equipes, das organizações — e é essa convicção que orienta cada escolha que fazemos, cada projeto que entregamos, cada pessoa que desenvolvemos.

Por que construir sua carreira na Confidencial (Apenas para Cadastrados)?

Porque aqui você pensa, decide e cria junto. Oferecemos autonomia, metas claras e um ambiente onde os Confidencial (Apenas para Cadastrados)ders têm espaço para interagir com diferentes tecnologias, participar de projetos desafiadores, trazer novas ideias e trabalhar de qualquer lugar do Brasil e (por que não?) do mundo.

Somos uma das melhores empresas para se trabalhar no Brasil segundo o Great Place to Work e estamos entre os 10 melhores empregadores do Brasil segundo a revista TIME.

Quais são nossos valores?

• Somos pessoas servindo pessoas
• Pensamos e agimos como donos
• Temos gana por performance
• Crescemos e aprendemos juntos
• Buscamos excelência e a simplicidade
• Atuamos com criatividade e inovação

Todas as pessoas são bem-vindas independentemente de sua condição, deficiência, etnia, crença religiosa, orientação sexual, aparência, idade ou afins. Queremos que você cresça conosco em um ambiente acolhedor e repleto de oportunidades.

Se identificou? Então, #VemSerConfidencial (Apenas para Cadastrados)!