Projetar, desenvolver e manter pipelines de dados robustos e escaláveis utilizando Databricks, Apache Spark, SQL e Python ou Scala.
Construir soluções para processar e transformar grandes conjuntos de dados de forma eficiente.
- Monitorar e otimizar pipelines e fluxos de trabalho de dados existentes, melhorando desempenho, escalabilidade, vazão e confiabilidade.
Colaborar com cientistas de dados, analistas, engenheiros e partes interessadas do negócio para compreender necessidades de dados e traduzi-las em soluções técnicas efetivas.
- Implementar verificações de qualidade de dados e práticas de governança para assegurar precisão, consistência e conformidade dos dados.
Solucionar problemas complexos de dados e pipelines, identificando causas raiz e propondo soluções sustentáveis.
- Manter documentação técnica clara e contribuir para padrões de engenharia e melhores práticas em toda a equipe.