Engenheiro(a) de Dados Sênior (Especialista em Crawlers e Orquestração)

#Conheça um pouco sobre a área:

Buscamos uma pessoa experiente para liderar a fronteira de ingestão de dados na Confidencial (Apenas para Cadastrados). O desafio central é construir e escalar motores de coleta (crawlers/bots) que alimentem nosso ecossistema de dados com precisão e eficiência. Você será responsável por arquitetar fluxos que transformam a web em dados estruturados prontos para análise, utilizando o que há de mais moderno em nuvem e processamento distribuído.

#Desafios que você vai encontrar:

• 
  Arquitetura de Coleta: Desenvolver e manter crawlers/bots de alta performance e resilientes para extração de dados em larga escala.
• Engenharia de Dados: Projetar e implementar pipelines de dados complexos utilizando Databricks (Spark) para processamento em lote e streaming.
• Orquestração: Garantir a saúde e a dependência dos fluxos de dados através de ferramentas de orquestração avançadas.
• Otimização em Nuvem: Gerenciar e otimizar recursos dentro do ecossistema AWS, garantindo escalabilidade e custo-benefício.
• Qualidade e Governança: Implementar técnicas de tratamento de erros, contorno de bloqueios (proxies, captchas) e validação de qualidade dos dados coletados.

#Conhecimentos importantes para a posição:

• 
  Linguagens: Domínio profundo de Python (focado em bibliotecas de scraping como Scrapy, Playwright, Selenium ou Beautiful Soup).
• Big Data: Experiência sólida com Databricks e Apache Spark (PySpark).
• Cloud (AWS): Experiência com serviços como S3, Lambda, Glue, Athena, EC2 e EKS.
• Orquestração: Conhecimento avançado em ferramentas como Airflow, Dagster ou Prefect.
• Bancos de Dados: Experiência com bancos SQL e NoSQL, além de entendimento de Data Lakehouses (Delta Lake).
• DevOps Mindset: Familiaridade com Docker, Kubernetes e pipelines de CI/CD.

#Diferencial para a posição:

• Conhecimento em técnicas de evasão de bot-detection e gestão de redes de Proxy.
• Experiência com ferramentas de monitoramento (Prometheus, Grafana ou ELK).
• Contribuições para projetos Open Source ou comunidades de dados.

#PraVocê Nossos Beneficios:

PraVocê no dia a dia :

• Vale Refeição e Alimentação;
• Gympass/TotalPass;
• Auxílio home-office;

PraVocê & Família:

• Plano de Saúde e Plano Odontológico (odonto é opcional);
• Auxílio creche (até os 6 anos completos da criança):
• Licença-Maternidade, Paternidade e Adotante Estendidas (#todasasfamíliasimportam);
• Seguro de Vida;
• Day Off de Aniversário (Um dia de folga para tirar no dia ou durante o mês do seu aniversário.);
• Dia da Família (Um dia de folga para mamães e papais tirarem entre os meses de maio e agosto e aproveitar como quiserem.);
• Pausa Mental (Uma semana corrida de folga em dezembro para que descansem e recarreguem as baterias.

*Benefícios de acordo com a política vigente*

PraVocê AINDA MAIS:

• 
  Senso de propósito ao fazer parte de um time que está construindo algo que será perene e trará frutos para a sociedade, seja a Confidencial (Apenas para Cadastrados) em si enquanto "startup" em rápido crescimento que gerará cada vez mais empregos, seja o produto Plataforma Confidencial (Apenas para Cadastrados), que será usado por cada vez mais usuários no Brasil e exterior.

• 
  Ambiente de trabalho descontraído, jovem, empreendedor e meritocrático, sem espaço para política.. ;-)

• 
  Oportunidade de desenvolvimento de carreira e crescimento numa empresa que não para de crescer.

Valorizamos, cultivamos e respeitamos as diferenças, por isso proporcionamos um ambiente aberto e inclusivo.

Todas as nossas posições são elegíveis para pessoas com deficiência.

Somos a Confidencial (Apenas para Cadastrados), a empresa referência em Inteligência Aumentada para Go-to-Market (GTM) na América Latina.

Nosso propósito vai muito além da tecnologia: transformamos o caminho de pessoas e negócios com inteligência. Unimos a agilidade da Inteligência Artificial com a criatividade e o pensamento crítico da Inteligência Humana. Acreditamos que o futuro é colaborativo e que a tecnologia existe para potencializar o que há de melhor nas pessoas.

O que fazemos?

Simplificamos a complexidade. Nossa plataforma SaaS coleta e normaliza dados do mercado (firmográficos, de mídia e localização) e os conecta aos dados internos dos clientes. O resultado? Painéis de analytics flexíveis, análises geográficas e fluxos de trabalho que permitem às grandes marcas líderes tomarem decisões mais ágeis, precisas e eficientes para seu Go-to-Market.

VEM FAZER PARTE DO TIME!

Aqui, crescemos rápido porque crescemos juntos. Buscamos mentes inquietas que queiram atuar em um ambiente colaborativo, diverso e que valoriza a autonomia.

Ser um Confidencial (Apenas para Cadastrados)iano significa viver uma experiência única de descobertas e transformação, onde sua voz é ouvida e seu desenvolvimento é prioridade.

Confidencial (Apenas para Cadastrados). Made for humans, powered by AI.