Voltar para vagas internacionais

Master Data Developer (Databricks), Brazil

Remoto internacional - Brasil elegível Publicado há 4 dias

CI&T

Resumo da oportunidade

A CI&T busca um Data Developer talentoso, motivado e experiente para integrar sua equipe e construir soluções robustas baseadas em dados para os clientes.

O profissional será fundamental no projeto, desenvolvimento e manutenção de infraestruturas de dados escaláveis e pipelines que permitem o sucesso das iniciativas de dados, aplicando forte expertise técnica em engenharia de dados, plataformas em nuvem e tecnologias modernas de dados.

Principais atividades

  • Construir, otimizar e manter pipelines de dados escaláveis e processos ETL/ELT para apoiar necessidades de analytics e business intelligence.
  • Implementar arquiteturas de dados, incluindo data lakes, warehouses e camadas de integração que apoiam a estratégia de dados e modernização da organização.
  • Implementar verificações de qualidade de dados, processos de validação e sistemas de monitoramento para garantir precisão, consistência e confiabilidade.
  • Desenvolver e manter integrações entre várias fontes de dados, ferramentas de terceiros e plataformas de analytics.
  • Trabalhar em colaboração com gestores de Data & Analytics e partes interessadas de negócios para compreender requisitos e entregar soluções técnicas.
  • Monitorar e otimizar o desempenho de pipelines de dados, eficiência de consultas e custos de armazenamento para garantir soluções escaláveis e custo-efetivas.
  • Criar e manter documentação técnica abrangente para arquiteturas de dados, pipelines e processos.

Conteúdo resumido para facilitar a leitura. Consulte a vaga original para todos os detalhes.

Requisitos e qualificações

  • Experiência prática com migração no Databricks usando a ferramenta databricks/migrate, incluindo notebooks, jobs, clusters, secrets e ACLs.
  • Experiência com migração do Unity Catalog para Glue Catalog para notebooks e jobs, incluindo DAG pipelines e DLT pipelines.
  • Refatoração de caminhos de armazenamento de referências DBFS /mnt/ para locais suportados por S3.
  • Execução de migração de dados do formato Deltalake para o formato Iceberg no S3, abrangendo Delta tables, arquivos brutos e sincronização incremental.
  • Experiência em streaming com Auto Loader, re-bootstrap de checkpoint DLT e deduplicação event_id.
  • Validação com contagem de linhas, checksums, consultas de amostra e comparação de tempo de execução ETL.
  • Recriação de escopos de segredos no AWS Secrets Manager e domínio de serviços AWS como S3, Glue, Secrets Manager, conceitos básicos de IAM, Athena, LakeFormation e EMR.

Conteúdo resumido para facilitar a leitura. Consulte a vaga original para todos os detalhes.

Diferenciais

  • Certificação Databricks Certified Consultant nos níveis Associate ou Professional.
  • Experiência prévia com migração de DBR para EMR na AWS.

Inscrição e candidatura

o UpVagas divulga esta oportunidade a partir da empresa ou plataforma de recrutamento. A candidatura é concluída na fonte original.

Sobre a empresa

A CI&T ajuda grandes empresas a transformarem o potencial da inteligência artificial em impacto real para os negócios, atuando com implantação de IA, execução nativa de IA e soluções de negócios integradas à tecnologia.

Com 30 anos de experiência em transformação tecnológica, a organização acelera a inovação com especialização em Agentic SDLC, modernização de aplicações, Data & IA, Martech e estratégia de negócios.

Atualmente, conta com 8.000 profissionais conhecidos como CI&Ters distribuídos em mais de 25 países, colaborando para construir soluções com impacto real, onde a IA já faz parte da rotina de trabalho, evolução e inovação diária.

UPVAGAS · CENTRAL DE CARREIRA

Sua próxima oportunidade começa aqui

Encontre, compare e acompanhe vagas de um jeito simples.

✓ Grátis · Sem precisar de conta✓ Brasil · US · Worldwide
Receba novas vagas no Telegram Toque no mascote para configurar seus alertas.
Mascote UpVagas com Telegram