Engenheiro de Dados Pleno

Nós movemos o mercado financeiro para o futuro, impulsionando negócios e potencializar a economia do país. Com o maior hub de dados e informações do cenário financeiro brasileiro, lideramos iniciativas que realmente importam: defendemos os interesses dos nossos parceiros e investidores, fornecemos ferramentas analíticas e dados, educamos investidores e certificamos profissionais, além de estabelecermos regras para as instituições do mercado financeiro e de capitais.

Buscamos por um Engenheiro de Dados Plenopara atuar em nossa equipe sendo responsável por desenhar, implementar e manter pipelines e arquiteturas de dados escaláveis no Databricks, garantindo qualidade, governança, segurança e performance.

• 
  Responsável pelo design, desenvolvimento e implementação de pipelines de dados de ponta a ponta utilizando Databricks para ETL, streaming e processamento em lote.
• Implementar arquitetura data lake, data lakehouse e data warehouses no Databricks, assegurando escalabilidade, confiabilidade e desempenho.
• Trabalhar em parceria com os stakeholders e outros membros da equipe para converter requisitos de negócios em especificações técnicas e soluções escaláveis.
• Implementar processos e procedimentos para garantir qualidade, em termos de Governança de Dados, segurança e otimização no ambiente Databricks.
• Aplique conhecimento técnico aprofundado para enfrentar desafios dos clientes e expandir oportunidades de negócios.
• Gerencie projetos, garantindo que os marcos sejam atingidos dentro dos prazos e limites orçamentários estabelecidos.
• Garantir automatização de processo seguro e robusto de CICD, para entrega de pipeline de dados.
• Acompanhar e sustentar plantão de Preços e Índices, uma vez por semana.

• 
  Experiência em Engenharia de Dados, com foco em Databricks;

- Experiência em projetar, construir, e otimizar soluções de dados, usando databricks, implementando pipeline, Airflow, Databricks - Workflow, Delta Lake, Unity Catalog, Spark, Python, Sql e etc;

• Experiência em plataforma de nuvens, preferencialmente AWS, EC2, S3, Redshift, Tokens, integrando com DataBricks;
• Experiência, em Spark, Python, SQL, para manipulação de dados;
• Experiência em versionamento de código, usando GitLab;
• Experiência em implementar CICD, usando conceitos de GitFlow;
• Experiência em implementar arquitetura de dados, usando Databricks e AWS, aplicando conceitos avançados de Data Lake, Data Lakehouse, Data Mesh, Data Sharing, RedShift, e integrações com ferramentas de dados, garantindo escalabilidade, segurança e confiabilidade;
• Excelência na comunicação verbal e escrita, é fundamental para esta posição;

Conhecimentos em Dataiku (desejável).

Confira nossos benefícios:

• 
  Salário Competitivo
• Vale Refeição
• Vale Alimentação;
• Assistência Médica;
• Assistência Odontológica;
• Modelo de trabalho híbrido;
• Seguro de Vida;
• Previdência Privada;
• Auxílio Home Office;
• Licença Parental de 6 meses para todos os colaboradores da Confidencial (Apenas para Cadastrados);
• Auxílio Funeral;
• Parcerias, Day Off de aniversário e muito mais...

Local de trabalho: Nosso escritório fica na região de Pinheiros próximo da estação de trem. Estamos trabalhando de forma hibrida, escritório (3x por semana) e home-office (2x por semana).

Muito prazer, somos a Confidencial (Apenas para Cadastrados) – Associação Brasileira das Entidades dos Mercados Financeiro e de Capitais. Reunimos instituições como bancos, gestoras, corretoras, distribuidoras e administradoras de recursos que atuam no mercado financeiro brasileiro.

Nossa missão é fortalecer a representação do setor e impulsionar a evolução do mercado de capitais, contribuindo para o desenvolvimento econômico e social do Brasil e para a conexão com o mercado global.

Atuamos de forma protagonista na evolução da indústria de investimentos, gerando impacto positivo e deixando um legado relevante para o país.

Se você tem vontade de aprender continuamente e deseja contribuir para o crescimento econômico e social do país, a Confidencial (Apenas para Cadastrados) é o seu lugar. Vem fazer parte disso tudo com a gente!