Explora oportunidades interessantes na Xtedder e junta-te à nossa equipa dinâmica!

Resumo da Posição:

We are looking for a Senior Spark/PySpark Engineer to join the Data Engineering Analytics team of a leading Oil & Energy company. The role involves modernizing ETL pipelines, curating data for analytics, and implementing data quality frameworks using Spark and Databricks technologies.

Responsabilidades:

Reestruturar e modernizar pipelines ETL existentes em Python e PySpark, incluindo tabelas Delta.

Desenvolver e disponibilizar novos conjuntos de dados para análise e uso por utilizadores finais.

Construir e melhorar o framework de qualidade de dados com a biblioteca Great Expectations e Spark.

Colaborar com equipas técnicas num modelo híbrido, aplicando práticas de engenharia de software em soluções de dados.

Requisitos:

- Para se concentrar na reformulação e modernização da nossa biblioteca ETL em python e pyspark e das tabelas Delta. 

- Possivelmente mais virado para engenheiro de software do que para engenheiro de dados.

- Se tiverem experiência em Databricks, isso seria ótimo.

- O objetivo é a engenharia de dados para a criação de novas tabelas e a sua disponibilização aos utilizadores finais.

- O candidato precisa de ter conhecimentos sólidos de python/pyspark e SQL.

- O candidato deve ter conhecimentos sólidos de python/pyspark e SQL.

Shape your future with us @Xtedder

Av. Engenheiro Duarte Pacheco Amoreiras
Torre 1, Piso 3 S9
1070-101
Lisboa, Portugal