Senior Data Developer (Databricks/ Espanhol), Brazil

Desenvolvimento de Pipeline de Dados: Desenvolver, manter e melhorar pipelines de dados usando Databricks, PySpark, Python e SQL para transformar dados financeiros brutos em conjuntos de dados confiáveis e organizados. Integração de Dados: Integrar novas fontes de dados ao ecossistema existente, ajudando a expandir as capacidades da plataforma e melhorar a visibilidade dos negócios.

Reconciliação de Dados Financeiros: Dar suporte às atividades de reconciliação financeira, rotinas de P&L e processos de fechamento global, garantindo consistência, precisão e rastreabilidade dos dados entre diferentes fontes.

Processamento e Otimização de Dados: Processar grandes volumes de dados estruturados e semi-estruturados, otimizando transformações, formatos de armazenamento e desempenho de consultas usando as melhores práticas de Delta Lake e Lakehouse.

Manutenção e Suporte de Pipelines: Monitorar, solucionar problemas e dar suporte aos pipelines existentes, identificando falhas, investigando discrepâncias e garantindo processamento confiável diário e mensal.

Abordagens para melhorar o desempenho, a escalabilidade, a manutenibilidade e a qualidade dos dados em todo o ecossistema de dados financeiros.

Colaboração com equipes multidisciplinares: Trabalhar de perto com engenheiros de dados, partes interessadas do negócio, equipes de finanças e equipes de tecnologia para entender as necessidades e entregar soluções de dados de alta qualidade.

Governança e qualidade de dados: Apoiar a governança de dados, regras de validação, auditabilidade, documentação e controles para garantir dados financeiros confiáveis e bem gerenciados.

Integração de IA: Apoiar iniciativas envolvendo modelos de IA e capacidades avançadas de dados, ajudando a integrar insights e automação baseados em IA nos fluxos de trabalho de dados.

Experiência sólida com Databricks, incluindo notebooks, jobs, workflows, clusters e melhores práticas para construir soluções de dados escaláveis.

Proficiência em processamento de dados usando PySpark, Python e SQL, com experiência prática em transformar dados brutos em conjuntos de dados confiáveis e bem organizados.

Experiência com Delta Lake e arquitetura Lakehouse, incluindo tabelas Delta, processamento incremental, otimização de dados e camadas de dados estruturados.

Conhecimento do ecossistema de dados do Azure, especialmente Azure Data Lake Storage, padrões de integração de dados e processamento de dados na nuvem.

Experiência em suporte a pipelines de dados financeiros, de preferência envolvendo reconciliação, P&L, fechamento financeiro ou outros processos críticos de negócios.

Experiência prática em manter e melhorar pipelines existentes, incluindo resolução de problemas, otimização de desempenho, documentação e suporte à produção.

Capacidade de trabalhar com dados estruturados e semiestruturados, garantindo qualidade, rastreabilidade e preparação para análises e uso estratégico do negócio.

Mentalidade de resolução de problemas, com a capacidade de investigar dados complexos, entender causas raiz e propor soluções práticas em ambientes de dados desafiadores. Interesse ou experiência com modelos de IA e capacidades avançadas de dados, apoiando a integração de soluções baseadas em IA nos fluxos de trabalho de dados.

• Espanhol para interação com equipes globais, discussões técnicas e documentação.

Familiaridade com frameworks e metodologias de IA. Experiência com capacidades avançadas, como otimização do Delta Lake, Databricks Workflows e Databricks Apps ou Streamlit. Experiência com práticas de qualidade e observabilidade de dados, incluindo regras de validação, checagens de reconciliação, monitoramento, logs, alertas e métricas de execução de pipelines.