Voltar para vagas internacionais

Data Architect (Databricks), Brazil

Remoto internacional - Brasil elegível Publicado há 3 dias

CI&T

Resumo da oportunidade

A CI&T busca um Data Developer talentoso, motivado e experiente para integrar sua equipe e construir soluções robustas baseadas em dados para os clientes.

O profissional será responsável por projetar, desenvolver e manter infraestrutura de dados escalável e pipelines, garantindo qualidade, confiabilidade e desempenho.

A oportunidade envolve trabalhar com migração de dados e tecnologias de nuvem em um ambiente ágil.

Principais atividades

  • Desenvolver, otimizar e manter pipelines de dados escaláveis e processos ETL e ELT para apoiar necessidades de inteligência analítica e de negócios.
  • Implementar arquiteturas de dados, incluindo data lakes, data warehouses e camadas de integração alinhadas à estratégia da organização.
  • Implementar verificações de qualidade de dados, processos de validação e sistemas de monitoramento para assegurar precisão, consistência e confiabilidade.
  • Desenvolver e manter integrações entre diversas fontes de dados, ferramentas de terceiros e plataformas analíticas.
  • Colaborar com gerentes de dados e analytics e partes interessadas do negócio para compreender requisitos e entregar soluções técnicas.
  • Monitorar e otimizar o desempenho de pipelines de dados, eficiência de consultas e custos de armazenamento.
  • Criar e manter documentação técnica abrangente para arquiteturas, pipelines e processos de dados.

Conteúdo resumido para facilitar a leitura. Consulte a vaga original para todos os detalhes.

Requisitos e qualificações

  • Experiência prática em migração no Databricks utilizando a ferramenta databricks e migrate para notebooks, jobs, clusters, secrets e ACLs.
  • Experiência com migração do Unity Catalog para o Glue Catalog, abrangendo notebooks e migração de jobs como DAG pipelines e DLT pipelines.
  • Realização de refatoração de caminhos de armazenamento, convertendo referências DBFS para locais suportados por S3.
  • Execução de migração de dados do formato Delta Lake para Iceberg no S3, incluindo Delta tables, arquivos brutos e sincronização incremental.
  • Atuação com streaming, contemplando Auto Loader, re-bootstrap de checkpoint DLT e deduplicação de event_id.
  • Aplicação de validações por contagem de linhas, checksums, consultas de amostra e comparação de tempo de execução de ETL.
  • Recriação de escopos de segredos no AWS Secrets Manager e domínio de serviços AWS como S3, Glue, Secrets Manager, conceitos básicos de IAM, Athena, LakeFormation e EMR.

Conteúdo resumido para facilitar a leitura. Consulte a vaga original para todos os detalhes.

Diferenciais

  • Certificação Databricks Certified Consultant nos níveis Associate ou Professional.
  • Experiência prévia em migração de DBR para EMR na AWS.

Inscrição e candidatura

o UpVagas divulga esta oportunidade a partir da empresa ou plataforma de recrutamento. A candidatura é concluída na fonte original.

Sobre a empresa

A CI&T auxilia grandes empresas a transformar o potencial da inteligência artificial em impacto real para os negócios, atuando com implementação de IA, execução nativa de IA e soluções de negócios integradas à tecnologia.

Com 30 anos de experiência em transformação tecnológica, a empresa acelera a inovação com especialização em Agentic SDLC, modernização de aplicações, dados e IA, martech e estratégia de negócios.

A organização conta com 8.000 colaboradores distribuídos em mais de 25 países, colaborando para construir soluções com impacto real, onde a inteligência artificial faz parte do trabalho, evolução e inovação diários.

UPVAGAS · CENTRAL DE CARREIRA

Sua próxima oportunidade começa aqui

Encontre, compare e acompanhe vagas de um jeito simples.

✓ Grátis · Sem precisar de conta✓ Brasil · US · Worldwide
Receba novas vagas no Telegram Toque no mascote para configurar seus alertas.
Mascote UpVagas com Telegram