* Salário: R$ 11.000 a R$ 20.000 por mês (estimado)
* O valor exibido é uma estimativa calculada com base em dados públicos e referências do mercado. Não garantimos que este seja o salário oferecido para esta vaga específica.
Área: Tecnologia da Informação
Nível: Senior
Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez, confiabilidade e eficiência dos sistemas de coleta de dados da empre A posição é hands-on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping.
Responsabilidades
- Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala.
- Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup.
- Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta.
- Implementar e melhorar estratégias de rotação de proxies e uso de VPNs.
- Desenvolver mecanismos para contornar bloqueios e sistemas anti-bot.
- Integrar solucionadores de CAPTCHA em pipelines de scraping.
- Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ.
- Otimizar armazenamento e consultas em PostgreSQL.
- Desenvolver APIs e integrações utilizando Django.
- Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e
- Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados.
- Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código.
Requisitos
- Forte experiência com Python.
- Experiência sólida com web scraping em ambiente de produção.
- Experiência com Scrapy, Requests, Selenium e BeautifulSoup.
- Experiência com programação assíncrona utilizando asyncio.
- Experiência com Celery, Redis e RabbitMQ.
- Experiência com PostgreSQL.
- Conhecimento avançado de HTTP, cookies, headers e autenticação.
- Experiência com proxy rotation e uso de VPNs.
- Experiência com solucionadores de CAPTCHA.
- Experiência com bypass de sistemas anti-bot.
- Experiência com Git e workflows de versionamento.
- Experiência trabalhando com times ágeis (Scrum ou Kanban).
Diferenciais
- Experiência com infraestrutura de scraping em larga escala.
- Experiência com automação de browsers e simulação de comportamento de usuário.
- Experiência com Docker e containerização.
- Experiência com sistemas distribuídos de coleta de dados.
- Experiência com monitoramento e observabilidade de crawlers.
- Experiência com CI/CD.
- Experiência com GitHub Actions.