Engenheiro de Dados Sênior Presencial SP - RHA0558

Venha fazer parte de uma empresa que ama transformar com tecnologia e abraça a diversidade em todas as suas formas!

Engenheiro(a) de Dados Pleno/Sênior – AWS | Lakehouse | Arquitetura Distribuída

Busco Engenheiro(a) de Dados com atuação forte em arquitetura e execução técnica para evoluir uma plataforma moderna em AWS, com abordagem Lakehouse e arquitetura distribuída.

Responsabilidades

• Evoluir arquiteturas distribuídas (Data Mesh / Hub & Spoke) na AWS
• Construir e manter pipelines batch e streaming
• Implementar práticas de Lakehouse (ex.: Apache Iceberg)
• Garantir boas práticas de particionamento, layout e formatos colunares (Parquet)
• Atuar com CI/CD, observabilidade e confiabilidade de pipelines
• Apoiar decisões técnicas de arquitetura e evolução da plataforma

Stack principal

S3, Glue / Glue Data Catalog, Lake Formation, Athena, EMR, MSK, ECS e MWAA.

Requisitos técnicos

Python & Processamento

• Experiência com Python, SQL-ANSI e PySpark
• Entendimento claro de processamento em memória vs processamento distribuído
• Capacidade de explicar quando usar Pandas, PySpark ou alternativas como Polars, considerando escala, custo e complexidade operacional

SQL & Performance em Data Lake

• Experiência com modelagem de dados
• Domínio de particionamento em Data Lake
• Clareza sobre impacto de filtros por partição, pruning e organização em Parquet na redução de custo e tempo de leitura (ex.: Athena)

Arquitetura Lakehouse

• Entendimento do papel de:
• Metadados (ex.: Glue Data Catalog)
• Armazenamento (S3, formatos colunares)
• Computação (Spark/EMR ou query engines como Athena/Trino)
• Orquestração (Airflow/MWAA/Step Functions)
• Capacidade de explicar o fluxo ponta a ponta e o desacoplamento entre armazenamento e computação

Infraestrutura

• Experiência com Terraform (IaC)
• Vivência com containers
• Experiência em ambientes distribuídos

Diferenciais

Kafka/MSK e CDC, Flink, Kubernetes, Polars/DuckDB, arquitetura orientada a eventos.

Perfil

Profissional hands-on, com visão ampla de engenharia, confortável em transitar entre camadas da plataforma de dados e tomar decisões técnicas com base em custo, escala e performance.

Imprescindível:

FORMAÇÃO SUPERIOR - COMPLETO

INGLÊS - AVANÇADO

Desejável:

Quer saber mais sobre a gente e fazer parte do time que está construindo o futuro?

#VemSerSpreader

Transformando o mundo com tecnologia

Somos quase 2.500 Spreaders, espalhados em 22 estados brasileiros através do Spread Anywhere, que nos permite trabalhar de forma100% remota, dependendo do modelo de contrato. Somos digitais, hiperconectados e de onde estivermos colocamos em prática todos os dias um dos valores tão presentes na nossa cultura, que é a #colaboração.

Inovação para desenvolver o futuro

A Spread é uma empresa de inovação com 41 anos de história, oferecendo soluções completas em tecnologia e negócios digitais. Atualmente, contamos com um portfólio robusto de serviços, que inclui o desenvolvimento de aplicações, Quality Assurance, IT Outsourcing, Talent on Demand, além do desenvolvimento de soluções em Inteligência Artificial e consultoria e implementação em SAP e S/4HANA. Atuamos com uma abordagem customer centric, onde a experiência do cliente é prioridade e orienta nossas ações e estratégias. Esse compromisso se reflete em nosso NPS de 75 pontos, um indicador que nos posiciona na zona de qualidade e comprova a confiança e a satisfação dos nossos clientes.

Diversidade, Equidade & Inclusão

Aqui a diversidade e inclusão não é apenas uma palavra, mas sim um compromisso genuíno. Trabalhamos para fazer com que todas as pessoas Spreaders se sintam valorizadas, respeitadas e capacitadas para alcançar o pleno potencial. Reconhecemos que a verdadeira diversidade vai além de questões superficiais e abrange uma ampla gama de características, como gênero, etnia, orientação sexual, idade e habilidades.