Profissional Especialista em Engenharia de Dados

* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)

* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.

Área: Tecnologia da Informação

Nível: Senior

A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Confidencial (Apenas para Cadastrados) desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos, e você terá a oportunidade de atuar em diferentes desafios de engenharia, dados, analytics e transformação digital.

Além da nossa atuação pelo Brasil, com escritórios no Rio de Janeiro, São Paulo e Belo Horizonte, também temos filiais nos Estados Unidos, consolidando a Confidencial (Apenas para Cadastrados) cada vez mais como uma empresa global.

Quer fazer parte dessa história e transformar ideias e sonhos em realidade?

Sobre a vaga

Estamos em busca de um(a) Especialista em Engenharia de Dados com forte experiência em Databricks, para atuar no desenho, implementação, otimização e sustentação de soluções modernas de dados baseadas na arquitetura Lakehouse.

Essa pessoa será responsável por construir pipelines escaláveis, confiáveis e performáticos utilizando a plataforma Databricks, com foco em ingestão, transformação, qualidade, governança, modelagem e disponibilização de dados para consumo analítico, BI, integrações corporativas e iniciativas avançadas de dados.

O(a) candidato(a) ideal possui experiência sólida em Databricks, Apache Spark, PySpark, SQL, Delta Lake, Unity Catalog, Workflows, Delta Live Tables, modelagem de dados, integração via APIs e práticas modernas de Data Quality, além de capacidade para atuar próximo a times técnicos e áreas de negócio.

Principais responsabilidades:

• Projetar, desenvolver e manter pipelines de dados escaláveis utilizando Databricks, Apache Spark, PySpark, SQL e Delta Lake.
• Implementar arquiteturas de dados baseadas em camadas Bronze, Silver e Gold, garantindo organização, rastreabilidade, qualidade e governança dos dados.
• Desenvolver processos de ingestão, transformação, validação e disponibilização de dados utilizando recursos nativos da plataforma Databricks, como notebooks, jobs, workflows, Delta Live Tables, Auto Loader e Databricks SQL.
• Projetar e implementar frameworks de Data Quality nas camadas de ingestão, transformação e consumo de dados.
• Desenvolver regras automatizadas de qualidade de dados, validações e processos de monitoramento para garantir precisão, completude, consistência, unicidade, atualidade e integridade dos dados.
• Implementar processos de profiling, limpeza, padronização, enriquecimento, reconciliação e tratamento de exceções de dados.
• Definir, implementar e monitorar métricas de qualidade de dados, KPIs, scorecards e dashboards.
• Desenvolver processos automatizados de validação para dados estruturados e semiestruturados, incluindo dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.
• Projetar modelos de dados canônicos e modelos analíticos que consolidem informações provenientes de múltiplos sistemas de origem.
• Criar e manter mapeamentos de origem para destino, lógica de transformação, regras de negócio e processos de harmonização de dados.
• Projetar modelos dimensionais, incluindo esquemas estrela, para suportar cargas de trabalho analíticas, relatórios e soluções de BI.
• Implementar estratégias de carga incremental, CDC, reconciliação de dados e validação ponta a ponta.
• Atuar com Unity Catalog, governança, linhagem, metadados, catálogos, schemas, permissões e segurança baseada em papéis.
• Otimizar workloads em Databricks, incluindo notebooks, jobs, queries SQL, clusters, uso de recursos computacionais, particionamento, Z-Ordering, tuning de Spark e boas práticas de performance.
• Investigar, diagnosticar e resolver problemas de qualidade, performance, disponibilidade e integridade dos dados, identificando causas-raiz e implementando soluções preventivas.
• Apoiar decisões de arquitetura relacionadas ao uso de Databricks, Delta Lake, Lakehouse, governança, integração, automação e observabilidade.
• Colaborar com arquitetos de dados, engenheiros de dados, analistas, engenheiros de software e stakeholders de negócio para entregar soluções confiáveis, escaláveis e de alta qualidade.
• Dar suporte a práticas de engenharia moderna, incluindo versionamento com Git, CI/CD, automação de deploy, revisão de código e documentação técnica.

Qualificações obrigatórias:

• Inglês fluente para conversação.
• Graduação em Ciência da Computação, Sistemas de Informação, Engenharia ou área correlata, ou experiência prática equivalente.
• Ampla experiência como Engenheiro(a) de Dados, Especialista de Dados, Arquiteto(a) de Dados ou função semelhante.
• Experiência prática e avançada com Databricks em projetos corporativos de engenharia de dados.
• Sólido conhecimento em Apache Spark, PySpark e Spark SQL.
• Conhecimento avançado em SQL, incluindo consultas complexas, transformações, otimização e ajuste de desempenho.
• Experiência com Delta Lake, incluindo tabelas Delta, versionamento, otimização, particionamento e boas práticas de armazenamento.
• Experiência no projeto e implementação das camadas Raw/Bronze, Curated/Silver e Business/Gold.
• Experiência com orquestração de pipelines e workloads no Databricks, incluindo jobs, workflows e automações.
• Experiência na implementação de frameworks, metodologias e boas práticas de Qualidade de Dados em ambientes corporativos.
• Experiência no desenvolvimento e implementação de regras de qualidade de dados, frameworks de validação, processos de reconciliação e tratamento de exceções.
• Forte compreensão de profiling de dados, limpeza, padronização, enriquecimento e correspondência de dados.
• Experiência prática na integração e validação de dados JSON provenientes de APIs REST, plataformas SaaS e sistemas corporativos.
• Sólido conhecimento de modelagem de bancos de dados relacionais, normalização e princípios de integridade de dados.
• Experiência no projeto de modelos de dados canônicos que consolidem informações de múltiplos sistemas de origem.
• Experiência com mapeamento de dados de origem para destino, transformações, harmonização e documentação de regras de negócio.
• Forte conhecimento em modelagem dimensional, esquemas estrela e conceitos de Data Warehouse corporativo.
• Experiência na implementação de cargas incrementais, CDC, processos de reconciliação e validações automatizadas de qualidade de dados.
• Familiaridade com governança de dados, gerenciamento de metadados, linhagem de dados, master data, reference data e segurança baseada em papéis.
• Experiência com Unity Catalog ou conceitos equivalentes de governança, catálogo, controle de acesso e linhagem de dados.
• Proficiência em Git, práticas de CI/CD e automação de deploy para soluções de engenharia de dados.
• Capacidade de atuar com autonomia, visão crítica, comunicação clara e colaboração com times técnicos e de negócio.

É um diferencial se você tiver:

• Certificação ou acreditação Databricks relacionada à arquitetura, como Databricks Platform Architect Accreditation/Badge, preferencialmente em Azure ou AWS.
• Certificação Databricks Certified Data Engineer Professional ou equivalente.
• Experiência com arquitetura Lakehouse em ambientes corporativos de grande escala.
• Experiência com Delta Live Tables, Auto Loader, Databricks Asset Bundles, Databricks CLI ou automação de deploy em Databricks.
• Experiência com cloud platforms, especialmente Azure, AWS ou GCP.
• Experiência com ferramentas de observabilidade, monitoramento e alertas para pipelines de dados.
• Experiência com Databricks SQL, dashboards, SQL Warehouses e integração com ferramentas de BI.
• Conhecimento em FinOps aplicado a Databricks, otimização de clusters, serverless, jobs e workloads.
• Mestrado ou Doutorado em Ciência de Dados, Inteligência Artificial, Engenharia, Computação ou disciplinas que exijam alta capacidade analítica.

Benefícios:

• Assistência Médica Nacional (para o titular e dependentes, com quarto privativo)
• Assistência odontológica nacional (para o titular e dependentes)
• Vale refeição / alimentação flexível
• Auxílio home office
• Day off (no mês do aniversário)
• Wellhub (antigo Gympass)
• Licença Maternidade (6 meses) e Paternidade (20 dias) estendidas
• Auxílio creche para filhos de até 3 anos (por filho)
• Apoio em saúde mental com a Wellz
• Clube de Vantagens com descontos em diversos parceiros
• Convênio com instituições de ensino e cursos de idioma
• Desenvolvimento Profissional (Universidade Corporativa)
• Parceria com empresa de coworkings no Brasil
• Programa de Qualidade de Vida e Bem-Estar
• Médico consultor para acompanhamento de Confidencial (Apenas para Cadastrados)ers
• Planos de incentivos

A Confidencial (Apenas para Cadastrados) está sempre no topo das Melhores Empresas para se trabalhar porque:

• Temos profissionais comprometidos, dedicados, curiosos e inovadores.
• O espírito de equipe é a nossa maior força. Trabalhamos de forma cooperativa e sabemos que estamos juntos, remando na mesma direção.
• Temos um ambiente diverso, que valoriza equidade e inclusão.
• Nossa jornada de trabalho é flexível e em quase todos os projetos é possível trabalhar de qualquer lugar do Brasil.
• Valorizamos o bem-estar e o cuidado com as nossas pessoas, com programas de apoio à saúde mental, psiquiatra e médico consultor disponíveis.

Curtiu?

#VemPraConfidencial (Apenas para Cadastrados)
Código: bb82