ENGENHEIRO DADOS PL

Engenheiro de Dados Pleno

ETL (Extract, Transform, Load):

Entendimento profundo dos processos de extração, transformação e carga de dados.

Experiência com ferramentas ETL como Talend, Pentaho, Apache Nifi, Apache Hop, Azure Data Factory

Experiência com variações de ETL será um diferencial, como:

• ELT com dbt, SQLMesh e sdf por exemplo
• Data Ingestion com Airbyte, dlt, kafka connect. Por exmeplo.
• Reverse ETL com Meltano ou Census por exemplo
• Data virtualization com Trino ou Dremio, por exmplo

Conhecimento em orquestradores de pipeline como Jenkins, Airflow e Dagster

Bancos de Dados:

Conhecimento de nos seguintes bancos:

• SQL
• SQL Server
• MySQL
• Oracle
• PostgreSQL
• NoSQL
• MongoDB
• Redis/DragonFly
• Cassandra (Será um diferencial)
• TimescaleDB (Será um diferencial)
• InfluxDB (Será um diferencial)
• MemGraph (Será um diferencial)

Habilidade em escrever e otimizar consultas SQL complexas.

Linguagens de Programação:

Proficiência em linguagens de programação Python, será um diferencial a proficiência em outras linguagens como Java, C#, Go, Scala ou outras.

Proficiência em linguagem de consulta SQL.

Familiaridade com scripting para automação de processos.

Data Warehousing:

Conhecimento de conceitos e práticas de data warehousing, como modelagem dimensional.

• Star Schema
• Snowflake Schema
• Galaxy Schema
• Slowly Changing Dimensions
• Conformed Dimensions
• Degenerate Dimensions
• Hierarchy Dimensions
• Junk Dimensions
• Outrigger Dimensions

APIs e Serviços Web:

Experiencia com APIs, tanto para consumo quando para criação.

Capacidade de projetar APIs intuitivas, escaláveis e fáceis de usar fazendo uso de documentação clara e compreensível, seguindo padr OpenAPI.

Habilidade para desenvolver APIs RESTfull e integrar com APIs SOAP

• Conhecimento dos princípios REST e compreensão do protocolo HTTP
• Boas práticas de nomenclatura e uso dos métodos, status code, headers, params e cookies
• Padrões de autenticação e autorização como o OAuth e JWT
• Itens de segurança serão um diferencial, como:
• Throttling e Rate Limiting
• White e black list
• Middlewares
• Prevenção de ataques XSS, CSRF, e SQL Injection

Experiência com contêineres e habilidade em resolver problemas de compatibilidade e integração.

Testes:

Conhecimento em métodos de testes unitários, de integração, carga e end-to-end dos processos de ETL e/ou APIs desenvolvidas.

Experiência com frameworks de testes pytest. Outros como Jest, Mocha, Chai, etc serão um diferencial.

Big Data:

Conhecimento de tecnologias de Big Data como Apache Hadoop, Apache Spark, Apache Kafka, Apache Flink, Apache Bean.

Experiência com ferramentas de processamento de dados em larga escala será um diferencial.

Análise de Dados:

Capacidade de analisar dados para garantir a qualidade e integridade durante o processo de integração.

Experiência com ferramentas de BI (Business Intelligence) como Tableau, Power BI será um diferencial.

Modelagem de Dados:

Habilidade em modelar dados de acordo com os requisitos do negócio.

Conhecimento de técnicas de normalização e desnormalização de dados.

Competências Interpessoais:

Resolução de Problemas:

Habilidade em identificar, analisar e resolver problemas complexos de integração de dados.

Capacidade de pensar criticamente e propor soluções inovadoras.

Facilidade de leitura de traceback de falhas e geração de logs.

Comunicação:

Excelentes habilidades de comunicação para interagir com diferentes equipes, como TI, negócios e stakeholders.

Capacidade de traduzir requisitos técnicos em termos compreensíveis para o negócio.

Trabalho em Equipe:

Capacidade de colaborar efetivamente com outros profissionais, incluindo desenvolvedores, analistas de dados e gestores de projeto.

Disposição para compartilhar conhecimentos e ajudar na capacitação de colegas.

Adaptabilidade:

Flexibilidade para se adaptar a novas ferramentas, tecnologias e mudanças nos requisitos do projeto.

Proatividade em aprender continuamente.

Experiência e Educação:

Formação Acadêmica: Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou áreas relacionadas.

Experiência Profissional: Experiência prática em projetos de integração de dados: Desenvolvimento de pipelines de ETL, desenvolvimento de APIs, integração com sistemas de terceiros e utilização de ferramentas de integração.

O que te oferecemos:

🍛 Vale Alimentação ou Vale Refeição;

👨🏼‍🎓 Desconto em cursos, universidades e instituições de idiomas;

📚 Academia Confidencial (Apenas para Cadastrados) - plataforma com cursos online, gratuitos, atualizados e com certificado;

🗣 Mentoring;

🏫 Auxílio Creche;

💉 Clube de vantagens para consultas e exames;

🏥 Assistência Médica;

🦷Assistência Odontológica;

💰 Clube de vantagens e descontos nos melhores estabelecimentos;

🛫 Clube de viagens;

🐶 Convênio para Pet;

e muito mais...

Na Confidencial (Apenas para Cadastrados), a inovação não é apenas uma meta; é uma jornada que trilhamos juntos, onde a colaboração se torna a essência da transformação. 🤝 Com 37 anos de história e uma presença global em mais de 40 países, contamos com uma equipe de 38 mil talentos apaixonados, prontos para transformar desafios em oportunidades por meio da tecnologia. 💡

Acreditamos que cada projeto é uma oportunidade e que, juntos, podemos moldar um futuro mais ágil, eficiente e conectado. Nossa missão vai além de oferecer soluções: buscamos cocriar com nossos clientes, integrando inteligência artificial e tecnologias emergentes para revolucionar o cotidiano das empresas. 🌍✨

Aqui, cada voz conta e cada ideia tem o poder de impactar. Valorizamos a humildade, o respeito, o comprometimento e a coragem, construindo uma cultura onde a inovação floresce. Aqui, liderar é dar o exemplo, e é por isso que inspiramos um ambiente dinâmico onde tecnologia e talento se complementam.

Se você sonha grande, tem coragem de desafiar o convencional e quer fazer parte de uma equipe que acredita no poder da cocriação, junte-se a nós! Vamos, juntos, acreditar e cocriar um futuro brilhante, onde cada passo representa uma nova conquista!🚀✨