* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)
* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.
Área: Tecnologia da Informação
Nível: Senior
SOBRE A Confidencial (Apenas para Cadastrados):
A Confidencial (Apenas para Cadastrados) é uma plataforma de inteligência cultural que, por meio de Inteligência Artificial, decodifica o comportamento de consumo de vídeo e ajuda grandes marcas a transformar tendências culturais em estratégias criativas orientadas por dados. Trabalhamos com marcas como Coca-Cola, Meta, Netflix, AB InBev e Unilever.
Na Confidencial (Apenas para Cadastrados), somos apaixonados pelo nosso trabalho, sonhamos grande e buscamos sempre ser ágeis e criativos. Somos, acima de tudo, um time. Afinal, quando diferentes talentos se unem em torno de um mesmo objetivo e compartilham conhecimento, coisas incríveis acontecem. É isso que buscamos viver todos os dias.
#BeAWinner
SOBRE O TIME
Nossa plataforma captura dados de diversas APIs e fontes externas e usa Inteligência Artificial para extrair insights a partir deles. No time de Engenharia de Dados, capturamos milhões de dados diariamente, que precisam estar disponíveis para os nossos clientes o mais rápido possível, próximo do tempo real.
O desafio do time é criar e manter centenas de pipelines que capturam, classificam e transformam esses dados, facilitando o acesso para os nossos clientes e para o time de Ciência de Dados, que constrói modelos a partir deles. E tudo isso prezando pela segurança e pela privacidade dos dados.
COMO SERÁ O SEU DIA A DIA
Desenvolver e manter crawlers e scrapers de diferentes complexidades (API e HTML);
Mapear novas fontes de dados externas e avaliar a viabilidade técnica de coleta;
Automatizar fluxos de coleta de dados em larga escala;
Ajustar e adaptar scrapers conforme mudanças nos sites;
Garantir a qualidade e a atualização contínua dos crawlers;
Processar e organizar os dados coletados para integração aos pipelines de dados;
Trabalhar em conjunto com o time para resolver problemas de negócio e entregar dados confiáveis.
O QUE ESPERAMOS DE VOCÊ
Graduação em Ciência da Computação, Engenharia de Software ou áreas correlatas;
Bons conhecimentos de programação em Python (requests, httpx, asyncio) ou Node.js (axios, puppeteer, crawlee);
Experiência com desenvolvimento de web scrapers ou crawlers, tanto via API quanto via parsing de HTML;
Familiaridade com inspeção de chamadas de rede (Developer Tools / Network) para análise de APIs e engenharia reversa;
Conhecimento avançado de SQL para modelagem e análise de dados;
Noção geral de como estruturar pipelines de dados (ETL) e lidar com armazenamento de dados (ex.: Parquet, JSON, bancos relacionais);
Experiência com ferramentas de orquestração e workflow, como Prefect, Airflow ou Temporal, para execução confiável de pipelines e processos de longa duração;
Alguma experiência com ambientes de nuvem (AWS, GCP ou Azure) para rodar crawlers e pipelines;
Atenção à qualidade dos dados coletados e capacidade de manter o funcionamento dos crawlers.
DIFERENCIAIS QUE TE DESTACAM
Experiência prática com automação de browsers com Playwright, Selenium ou ferramentas similares;
Experiência sólida com rotação de proxies, bypass de rate limits e estratégias anti-bloqueio (ex.: proxy rotation, captchas);
Vivência com ferramentas de scraping avançadas (Scrapy, Crawlee etc.);
Experiência com engenharia reversa de APIs privadas e análise profunda de chamadas de rede;
Experiência com manutenção e operação de crawlers em produção;
Conhecimento em ferramentas de modelagem e transformação de dados, como dbt;
Conhecimento de processamento paralelo com Spark ou ferramentas similares;
Participação em projetos open source ou acadêmicos relacionados a scraping, automação ou engenharia de dados;
Mestrado ou doutorado em área relacionada.
SOFT SKILLS
Capacidade de analisar problemas complexos e estruturar a solução em etapas;
Vontade de aprender continuamente;
Capacidade analítica para resolver problemas complexos;
Habilidade para trabalhar de forma colaborativa;
Capacidade de comunicar as soluções desenvolvidas para públicos não técnicos;
Disposição para compartilhar conhecimento com o time.
PESSOAS INCRÍVEIS MERECEM BENEFÍCIOS INCRÍVEIS
Plano de saúde e odontológico Bradesco;
Cartão iFood Benefícios (alimentação e refeição);
Seguro de vida e Cartão Natalidade Prudential;
Vidalink, benefício de desconto em medicamentos;
Starbem, plataforma de saúde e bem-estar;
Apoio e Cuidado, programa de bem-estar emocional (Optum);
Wellhub para você e dependentes;
Benefícios SESC;
Auxílio Creche;
Auxílio Idiomas, reembolso mensal para estudo de inglês, espanhol ou português;
Udemy;
Woba, acesso a espaços de coworking;
Licença maternidade de 180 dias e licença paternidade de 60 dias;
Day off de aniversário: o dia do seu aniversário é todinho seu;
Folga de fim de ano;
Jornada flexível;
Empréstimo consignado;
Disponibilizamos todos os equipamentos para você trabalhar no conforto da sua casa;
Ambiente animado, descontraído, diverso, inclusivo e com muita liberdade para criação.
MODELO DE CONTRATAÇÃO
CLT;
Trabalho 100% remoto.
Pessoas com deficiência são muito bem-vindas e encorajadas a se candidatar. 💜