Spark Data Engineer |Senior
Descrição da vaga
.
Responsabilidades e atribuições
- Analisar rotinas SAS legadas;
- Atuar na reescrita e adaptação dos programas SAS para tecnologias do ecossistema de dados;
- Executar testes necessários, identificando inconsistências e efetuando a correção;
- Atuar no processo de validação funcional e técnica, comparando resultados entre o legado SAS e a nova implementação.
Requisitos e qualificações
- Experiência sólida com Python para processamento de dados;
- Conhecimento prático em Spark para manipulação de grandes volumes de dados;
- Domínio de SQL para consultas, transformações e validações de dados.
- Desejáveis: Experiência com serviços AWS (S3, Athena, Glue, Lambda e Step Functions), orquestração de cargas batch com Control-M, versionamento de código com Git/GitHub, atuação em ambiente Linux, uso de Terraform para infraestrutura como código (IaC) e vivência em ambientes ágeis, incluindo ferramentas como Agile Cockpit.
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Mapemaneto de Stack
- Etapa 3: Fit Cultural
- Etapa 4: Entrevista Líder
- Etapa 5: Oferta e Negociação
- Etapa 6: Contratação
Become a Compasser, be part of AI/R.
Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.
We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.
To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.
We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.
Join us and be part of the AI-driven revolution.