* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)

* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.

Área: Tecnologia da Informação

Nível: Senior

Engenheiro(a) de Dados AWS Sênior

Sobre a oportunidade

A ICON IT está em busca de um(a) Engenheiro(a) de Dados AWS Sênior para atuar em um projeto de integração de dados em ambiente AWS, envolvendo a ingestão de informações provenientes de uma API externa em um Data Lake corporativo já existente.

O profissional será responsável pela implementação e configuração dos fluxos de ingestão, transformação e disponibilização dos dados até a camada Trusted, respeitando os padrões de arquitetura, governança, segurança e qualidade estabelecidos no ambiente do cliente.

O projeto contempla as etapas de implementação, testes, documentação técnica e acompanhamento da estabilização da solução.

Principais responsabilidades

Analisar os requisitos técnicos da API REST, incluindo autenticação, documentação OpenAPI/Swagger, paginação e mecanismos de atualização incremental.
Implementar e configurar pipelines de ingestão de dados utilizando os serviços AWS e os componentes já disponíveis no ambiente.
Desenvolver processos de tratamento e transformação de dados nas camadas Landing, Raw e Trusted.
Implementar mecanismos de carga inicial e incremental, controle de processamento, deduplicação e exclusão lógica.
Garantir a integridade, consistência, rastreabilidade e qualidade dos dados processados.
Estruturar e disponibilizar os dados para consulta por meio do Amazon Athena.
Implementar mecanismos de monitoramento, logging e tratamento de falhas nos processos de integração.
Realizar testes técnicos, validações e reconciliação dos dados entre origem e destino.
Elaborar documentação técnica e realizar transferência de conhecimento para a equipe responsável pela operação.
Apoiar a estabilização da solução durante o período de Hypercare.

Requisitos obrigatórios

Experiência sólida em Engenharia de Dados em ambientes AWS.
Domínio de Python e SQL.
Experiência prática com AWS Glue, Amazon S3 e Amazon Athena.
Experiência com integração e ingestão de dados provenientes de APIs REST.
Conhecimento de arquiteturas de Data Lake e processos ETL/ELT.
Experiência com cargas incrementais, checkpoints e reprocessamento de dados.
Conhecimento de tratamento, deduplicação e validação de dados.
Experiência com formatos JSON e Parquet.
Conhecimento de Git e boas práticas de versionamento de código.

Diferenciais

Experiência com AWS Lambda, Step Functions e Amazon EventBridge.
Conhecimento de AWS Glue Data Catalog.
Experiência com documentação OpenAPI/Swagger.
Conhecimento de infraestrutura como código (Terraform ou CloudFormation).
Vivência em ambientes corporativos com frameworks de ingestão, pipelines e padrões de governança previamente estabelecidos.

Informações adicionais

Modalidade: 100% Remota
Duração estimada: 2 meses, incluindo implementação e Hypercare
Cód Icon: A67677316977

Venha fazer parte da ICON IT!

Se você possui experiência sólida em Engenharia de Dados AWS e busca participar de um projeto com desafios técnicos relevantes, queremos conhecer seu perfil.

Você conhece a Icon?

Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes.

Vem encontrar o seu projeto ideal conosco e participar da comunidade ICON!

#vemserICON