* Salário: R$ 3.000 a R$ 6.000 por mês (estimado)
* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.
Área: Tecnologia da Informação
Nível: Junior
Descrição do Projeto
Estamos em busca de um engenheiro de dados AWS experiente para se juntar à equipe responsável pela segunda fase do projeto de migração do data warehouse para a nuvem. A migração inicial do tipo "lift-and-shift" de um data warehouse local em MS SQL para o AWS RDS foi concluída. Esta próxima fase concentra-se na refatoração do sistema legado para uma arquitetura de dados moderna e serverless. O objetivo principal é migrar toda a lógica de transformação de dados do MS SQL para o AWS Glue e preparar os dados para consumo por ferramentas de business intelligence, como o AWS QuickSight.
Principais Responsabilidades
Analisar os procedimentos armazenados e as estruturas de dados existentes no MS SQL dentro do data warehouse para entender a lógica de negócio e transformação atual.
Projetar, desenvolver e implantar pipelines de ETL/ELT escaláveis e eficientes usando AWS Glue e PySpark para substituir os processos legados em SQL.
Ingerir e processar dados de várias fontes atualmente armazenadas no Amazon S3, incluindo extratos do SAP, feeds de sistemas operacionais e arquivos planos.
Implementar mecanismos robustos de validação de dados, tratamento de erros e registro de logs (logging) dentro dos jobs do Glue.
Colaborar com arquitetos para definir modelos de dados e esquemas adequados para a nova arquitetura de data lakehouse.
Otimizar os jobs do Glue para desempenho e eficiência de custos.
Documentar os novos pipelines e processos de dados.
Habilidades
Obrigatórias:
Alta proficiência em AWS Glue, incluindo experiência prática na escrita e implantação de scripts PySpark.
Sólida experiência com Python e o framework Spark (PySpark), particularmente para manipulação e transformação de dados.
Conhecimento de MS SQL Server, incluindo a capacidade de ler, entender e fazer engenharia reversa de T-SQL, procedimentos armazenados e funções.
Experiência prática com Amazon S3 como fonte e destino de dados.
Bom entendimento de funções IAM e políticas para gerenciar o acesso seguro aos recursos da AWS.
Alta proficiência em Inglês.
Altamente Desejável:
Experiência com serviços de orquestração de dados da AWS, como AWS Step Functions e Lambda.
Familiaridade com conceitos de data warehousing e modelagem dimensional.
Conhecimento em monitoramento e registro de logs usando Amazon CloudWatch.
Experiência no trabalho com dados de sistemas SAP é um grande diferencial.