Pular para o conteúdo principal

AWS Data Engineer | Mid (Remote)

Ir para candidatura

Descrição da vaga

.

Responsabilidades e atribuições

  • Atuar em projeto de migração e modernização da plataforma de dados;
  • Mapear, analisar e compreender notebooks e jobs existentes no Databricks (Azure);
  • Definir e executar ondas de migração de workloads para AWS EMR (EC2 e/ou Serverless);
  • Implementar e manter a orquestração de pipelines e jobs utilizando Apache Airflow (MWAA);
  • Construir e sustentar esteiras de CI/CD para deploy, versionamento e automação;
  • Estruturar e organizar catálogo de dados, metadados e governança de acessos utilizando AWS Lake Formation;
  • Garantir observabilidade dos pipelines por meio da integração de logs e métricas com Grafana;
  • Estruturar dados nas camadas Landing, Silver e Gold utilizando Hudi e Iceberg, assegurando aderência ao modelo atual em ADLS;
  • Atuar em processos de homologação, gestão de mudanças e deploy em produção;
  • Promover boas práticas e realizar transferência de conhecimento para os times envolvidos.

Requisitos e qualificações

  • Experiência com Databricks (Azure), incluindo mapeamento, análise e refatoração de notebooks e Jobs;
  • Experiência com cloud AWS (EMR, Glue, Lambda);
  • Experiência com orquestração de pipelines de dados utilizando Apache Airflow (MWAA); 
  • Experiência na estruturação de dados em camadas (Landing, Silver e Gold); 
  • Experiência com governança de dados, incluindo catálogo, metadados e controle de acessos via AWS Lake Formation;
  • Experiência com observabilidade de pipelines, utilizando logs, métricas e integração com Grafana; 
  • Experiência com Python.

Etapas do processo

  1. Etapa 1: Cadastro
  2. Etapa 2: Mapemaneto de Stack
  3. Etapa 3: Fit Cultural
  4. Etapa 4: Entrevista Líder
  5. Etapa 5: Oferta e Negociação
  6. Etapa 6: Contratação

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.


We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.

Candidatar-se
Candidatar-se