Engenheiro(a) de Dados (On-Premise) - Remoto

Com mais de 15 anos de trajetória, a Confidencial (Apenas para Cadastrados) Tecnologia se posiciona como parceira estratégica na transformação digital de empresas em todo o Brasil. Nossa essência é guiada por valores sólidos que colocam o ser humano no centro — diversidade, meritocracia e valorização de talentos — criando um ambiente que une profissionalismo e proximidade.

Atuamos no desenvolvimento de soluções completas em tecnologia, desde a fábrica de software, que entrega projetos sob medida com agilidade e qualidade, até a formação de equipes de dados capazes de transformar informação em inteligência para decisões estratégicas. Além disso, estruturamos a alocação de profissionais e squads de alta performance, presenciais ou remotos, sempre alinhados às necessidades e objetivos de cada cliente.

Mais do que fornecer tecnologia, a Confidencial (Apenas para Cadastrados) constrói relações duradouras, gerando impacto real e ajudando empresas a alcançarem novos patamares de eficiência e inovação.

• Desenvolver e manter pipelines de dados utilizando Python (PySpark);
• Atuar na ingestão, transformação e disponibilização de dados no modelo Lakehouse (Landing → Gold);
• Orquestrar fluxos de dados com Apache Airflow;
• Integrar diferentes fontes de dados (APIs, bancos, sistemas internos);
• Monitorar e corrigir falhas em pipelines e jobs;
• Otimizar consultas e processamento de dados;
• Apoiar boas práticas de qualidade e governança de dados;
• Trabalhar com ambientes containerizados (Docker);
• Colaborar com o time na evolução da arquitetura.

• Experiência prévia como Engenheiro(a) ou Analista de Dados;
• Domínio de Python e SQL;
• Experiência com PySpark ou Apache Spark;
• Vivência com Apache Airflow (criação e manutenção de DAGs);
• Experiência com construção e manutenção de pipelines de dados;
• Conhecimento em arquitetura de dados (Data Lake ou Lakehouse);
• Experiência com banco analítico (ClickHouse ou similares);
• Vivência com armazenamento S3-compatible (MinIO ou similares);
• Experiência com Docker / Docker Compose;
• Familiaridade com ferramentas de observabilidade (Grafana);
• Conhecimento em testes de dados (Pytest ou similares);
• Experiência com ambiente Linux e infraestrutura on-premise.

Diferenciais

• Experiência com Spark Connect ou arquiteturas desacopladas;
• Vivência com Portainer;
• Conhecimento em Data Hub / catálogo de dados;
• Experiência com alta disponibilidade em Airflow;
• Conhecimento em Lean Data Architecture;
• Experiência com integrações complexas (múltiplas fontes e sistemas críticos).

BENEFICIOS:

• 🎈 Day-off e vale compras no aniversário;
• 📚 Incentivo Educacional;
• 💪 Confidencial (Apenas para Cadastrados) Fitness;
• 🎉 Cultura colaborativa, de gestão horizontal e incentivo à troca de feedbacks.
• 💡Dinamismo e abertura para troca de ideias e experiências.
• 💰Remuneração compatível com a nível mercado.