Engenheiro de Dados Azure Databricks SR

🚀 Engenheiro(a) de Dados Sênior | Azure Databricks

📍 Modelo de trabalho: Remoto
📄 Contratação: PJ

Sobre a oportunidade
A ATRA está em busca de um(a) Engenheiro(a) de Dados Sênior, com forte especialização em Azure Databricks, para atuar na construção, evolução e otimização de plataformas modernas de dados em cloud.
Buscamos um perfil técnico, estratégico e hands-on, com experiência sólida em arquitetura Lakehouse, desenvolvimento de pipelines escaláveis, processamento distribuído com Spark/PySpark e otimização de performance e custos no ambiente Azure.

O(a) profissional será responsável por liderar tecnicamente iniciativas de engenharia de dados, garantindo qualidade, governança, eficiência operacional e confiabilidade das soluções. Também terá autonomia para propor melhorias arquiteturais, apoiar decisões técnicas e disseminar boas práticas junto ao time, contribuindo para a evolução da plataforma de dados.

Principais responsabilidades

• Projetar, desenvolver e evoluir arquiteturas de dados modernas utilizando Azure Databricks e Lakehouse;
• Construir, testar, manter e otimizar pipelines de dados ETL/ELT em processamento batch e, quando aplicável, streaming;
• Desenvolver soluções de processamento distribuído utilizando Apache Spark e PySpark;
• Implementar e gerenciar estruturas de dados com Delta Lake, garantindo confiabilidade, consistência e eficiência no processamento;
• Otimizar jobs Spark, consultas SQL, clusters e estratégias de particionamento para melhorar performance e escalabilidade;
• Monitorar o consumo de recursos e implementar estratégias de otimização de custos no Azure Databricks;
• Desenvolver e orquestrar pipelines utilizando Azure Data Factory (ADF) e integrá-los ao ambiente Databricks;
• Trabalhar com Azure Data Lake Storage Gen2 (ADLS Gen2) para armazenamento e organização de dados;
• Implementar boas práticas de engenharia de software aplicadas a dados, incluindo versionamento, testes, CI/CD e automação de deploys;
• Garantir qualidade, governança, catalogação, rastreabilidade e linhagem dos dados;
• Apoiar a definição de padrões arquiteturais e práticas de DevOps para Dados;
• Atuar em parceria com equipes técnicas e áreas de negócio para transformar requisitos em soluções escaláveis;
• Orientar tecnicamente profissionais de diferentes níveis, promovendo boas práticas de desenvolvimento e arquitetura de dados;
• Contribuir para iniciativas de integração entre ambientes cloud e evolução de arquiteturas multicloud, quando necessário.

Requisitos técnicos obrigatórios

• Experiência sênior em engenharia de dados, com atuação na construção, sustentação e otimização de pipelines ETL/ELT complexos;
• Domínio de Azure Databricks, incluindo desenvolvimento, operação e otimização de workloads de dados;
• Experiência sólida com Apache Spark e PySpark, incluindo processamento distribuído e tuning de jobs;
• Conhecimento aprofundado de Delta Lake e arquitetura Lakehouse;
• Experiência com otimização de clusters, particionamento, processamento de grandes volumes de dados e controle de custos;
• Experiência consolidada com Azure Data Factory (ADF) para orquestração e integração de pipelines;
• Vivência com Azure Data Lake Storage Gen2 (ADLS Gen2);
• Proficiência avançada em Python e SQL;
• Experiência com práticas de DevOps para Dados, incluindo CI/CD, Git e versionamento de código;
• Vivência com Azure DevOps, GitHub Actions ou ferramentas similares;
• Conhecimento de boas práticas de qualidade, monitoramento, governança e segurança de dados;
• Capacidade de tomar decisões técnicas considerando performance, escalabilidade, confiabilidade e custos.

Diferenciais

• Conhecimento em Google Cloud Platform (GCP), especialmente BigQuery, Cloud Storage, Dataflow e Pub/Sub;
• Experiência com Terraform e Infraestrutura como Código (IaC);
• Familiaridade com arquiteturas Data Mesh;
• Conhecimento de Data Vault e modelagem dimensional (Kimball);
• Experiência com integração e modernização de plataformas de dados em ambientes multicloud.

Perfil desejado

• Autonomia e capacidade de liderança técnica;
• Visão arquitetural e capacidade de tomar decisões fundamentadas em requisitos, performance e custos;
• Perfil hands-on, com forte capacidade analítica e resolução de problemas complexos;
• Comunicação clara e assertiva com equipes técnicas e áreas de negócio;
• Colaboração e facilidade para atuar em ambientes dinâmicos;
• Proatividade na identificação de oportunidades de melhoria;
• Compromisso com qualidade, segurança, documentação e evolução contínua da plataforma de dados.

Benefícios
🏋️ TotalPass;
📚 Treinamentos contínuos;
💳 Reembolso de 100% em certificações oficiais;
🎓 Parcerias com instituições de ensino;
🚀 Projetos desafiadores e tecnologias de ponta.

Sobre a ATRA
Somos uma consultoria brasileira com +15 anos de mercado, especializada em Dados, Analytics, Governança e IA. Atuamos com grandes empresas e somos parceiros de líderes como Google, Microsoft, Denodo, Databricks, Atlan, BigID, IBM e Informatica.