* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)
* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.
Área: Tecnologia da Informação
Nível: Senior
Procuramos um Engenheiro de Dados experiente para desenvolver e manter infraestruturas de dados robustas e escaláveis, com foco principal no ecossistema Snowflake.
🎯 Foco Principal: Snowflake
SQL Avançado: Domínio de SQL avançado, incluindo window functions, CTEs (Common Table Expressions) e performance tuning.
Arquitetura Snowflake: Conhecimento aprofundado em Warehouses, micro-partitions, clustering (agrupamento) e ELT com Tasks.
Modelagem e Transformação: Experiência ou familiaridade com dbt (Data Build Tool) para transformações e modelagem de dados (ferramenta futura para gestão de bancos de dados).
Segurança: Implementação de segurança (Role-based access, masking policies e row-level security).
Integração: Configuração de External Stages (Azure Blob, S3) e manipulação de formatos de arquivo (Parquet, JSON, CSV).
☁️ Cloud e Big Data (Microsoft Azure & Databricks)
Microsoft Azure
Orquestração: Experiência com Azure Data Factory (ADF) (Pipelines, linked services, triggers).
Armazenamento e Staging: Uso do Azure Blob Storage para data staging e integração.
Automação: Desenvolvimento de automação orientada a eventos usando Azure Functions / Logic Apps.
Segurança: Gerenciamento de segredos e credenciais com Azure Key Vault.
Observabilidade: Utilização do Azure Monitor / Log Analytics para diagnóstico e monitoramento.
Databricks
Processamento Distribuído: Proficiência em PySpark / Spark SQL para processamento distribuído de dados.
Desenvolvimento: Uso de Databricks Notebooks para desenvolvimento colaborativo.
Integração: Habilidade de integração com Snowflake, Azure Data Lake e ADF.
Otimização: Técnicas de otimização como caching, particionamento e broadcast joins.
🛠️ Habilidades Técnicas Gerais
Linguagens de Programação:
Python: Scripting, automação e manipulação de dados.
JavaScript: Para desenvolvimento de procedures dentro do Snowflake.
Controle de Versão & CI/CD:
Git e GitHub (branching, pull requests, actions).
Criação de Pipelines CI/CD (GitHub Actions, Azure DevOps, GitLab CI).
APIs e Integração:
Consumo e construção de APIs RESTful para troca de dados.
Uso de APIs Nativas para conexões em rede on-prem (local).
Conhecimento em autenticação (OAuth2, API keys, JWT) e uso de ferramentas (Postman, Python requests / aiohttp).
Modelagem de Dados e Governança:
Conhecimento em Modelagem de Dados (Star/Snowflake schemas).
Data Governance (gerenciamento de metadados, linhagem - lineage, catalogação).
🏛️ Conhecimento Desejável (SAP HANA)
SAP HANA:
SQLScript (Stored procedures, table functions).
Modelagem de Dados (Calculation views, attribute/analytic views).
Otimização de Performance (Indexação, particionamento, otimização de queries).