AI Machine Learning - Databricks

Sobre a vaga:

Estamos buscando um(a) Engenheiro(a) de Dados/ML Sênior para liderar a arquitetura, desenvolvimento e governança da nossa nova Feature Store. O objetivo central é construir um framework robusto, modular e descentralizado que resolva as dores dos Cientistas de Dados, acelerando o ciclo de colocar modelos em produção com segurança e qualidade. Se você possui mentalidade data-as-a-product, domina soluções modulares em Databricks e quer ser a ponte entre a engenharia estruturada e a ciência de dados, essa oportunidade é para você.

Responsabilidades:

• Desenvolvimento de Framework Core: Criar componentes modulares e reutilizáveis (Writer, Data Quality, Feature Functions), evitando códigos complexos e desestruturados.
• Garantia de Qualidade e Auditoria: Implementar motores de validação (Data Quality) com ferramentas como Great Expectations ou Delta Expectations (lógica de Gatekeeper).
• Modelagem e Persistência Histórica: Desenvolver lógicas avançadas de persistência (SCD Tipo 2 e Tipo 4), garantindo consistência temporal completa (Point-in-Time Correctness).
• Governança e Linhagem: Estruturar o registro de metadados no Unity Catalog e garantir rastreabilidade total integrando com MLflow.
• Orquestração e DevOps de Dados: Configurar pipelines complexos e atômicos no Databricks, gerenciando ambientes (Dev/Prod) e versionamento.
• Foco no Usuário (Discovery & UX): Alinhar escopos com Cientistas de Dados para garantir que a usabilidade da Feature Store atenda às necessidades de negócio.
• Disseminação de Conhecimento: Liderar a migração de projetos piloto, criar documentações Self-Service e ministrar workshops práticos para o time.

Requisitos:

• Experiência sólida como Engenheiro(a) de Dados Sênior ou Engenheiro(a) de Machine Learning.
• Domínio avançado do ecossistema Databricks (Unity Catalog, Delta Tables, Workflows/Jobs).
• Fortes conhecimentos em frameworks de validação de dados e MLflow.
• Experiência prática com estratégias de versionamento de dados e histórico (SCD).
• Proficiência em Python voltado para desenvolvimento de pacotes, classes reutilizáveis e testes unitários.
• Sólido conhecimento em conceitos de governança (Metadados, Catálogo, Linhagem).
• Perfil Soft Skill: Foco na experiência do usuário (empatia com a dor do cientista), comunicação didática para treinamentos e alta autonomia na resolução de problemas.

Diferenciais:

• Experiência prévia na implementação de Feature Stores do zero (ex: Feast, Databricks Feature Store).
• Familiaridade com taxonomias de transformações complexas (MIT, MDT, ODT).
• Conhecimento da metodologia/lógica de negócio modular E-A-C-TIM.

Informações adicionais

• Localização: São Paulo – SP;
• Modelo de trabalho 100% home office.

Se interessou pela vaga? envie seu currículo atualizado para: [email protected] com a pretensão salarial e mencionando no título “AI Machine Learning – Databricks”.