Spark / Data Lakehouse Developer
Podsumowanie oferty

(Podsumowanie wygenerowane przez AI na bazie pełnej treści ogłoszenia rekrutacyjnego)

Projekt dotyczy budowy Data Lakehouse dla sektora finansowego z fokus na rekonsyliację i synchronizację danych w warstwie ODS. W projekcie używane są przede wszystkim Apache Spark (PySpark, Spark SQL), MongoDB z MongoDB Spark Connector, oraz technologie warstw danych takie jak Delta Lake / Iceberg / Hudi. Do monitoringu stosowane są Prometheus, Grafana i narzędzia APM/OpenTelemetry, a deploymenty realizowane są na Docker/Kubernetes (Spark Operator). Odpowiedzialność obejmuje projektowanie i implementację procesów Spark do walidacji i porównywania danych, implementację reguł jakości danych, detekcję duplikatów i anomalii, projektowanie przepływu Raw→Bronze→Silver→Gold, integrację i optymalizację Spark–MongoDB, wdrożenia CI/CD (Jenkins), monitoring SLA/SLO, automatyzację deploymentów, diagnozowanie problemów oraz tworzenie dokumentacji i runbooków. Oferowane benefity obejmują prywatną opiekę medyczną i karta Multisport.

newyou can start ASAP

Spark / Data Lakehouse Developer

Firma: HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

od: 8 października 2026
do: 7 listopada 2026
18 480 - 21 840 złnetto (+ VAT)/ mies.kontrakt B2B (pełny etat)
Szczegóły wynagrodzenia
stała podstawa wynagrodzenia
Parametry oferty
poziom:mid
tryb pracy: zdalna
Wrocław, Stare Miasto
Wrocław, Stare Miastoplac Teatralny 1Pokaż na mapie

Wymagania

Technologie wymagane

PySpark
Spark SQL
Apache Spark
MongoDB
Jenkins
Python
Prometheus
Grafana
Jira
Confluence

Nasze wymagania

  • 3+ lata doświadczenia w pracy z Apache Spark w środowisku produkcyjnym.
  • Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming.
  • Doświadczenie z MongoDB i Spark Connector oraz znajomość modelowania i indeksowania danych.
  • Praktyczna znajomość Apache Iceberg i architektury Data Lakehouse (upsert/merge, optymalizacja zapisów).
  • Doświadczenie w CI/CD z Jenkins, w tym automatyzacji testów i deploymentów aplikacji Spark.
  • Bardzo dobra znajomość Python oraz Spark SQL.
  • Znajomość Prometheus i Grafana w obszarze monitoringu i observability.
  • Doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.

Twój zakres obowiązków

  • Projektowanie i implementacja procesów Spark SQL/PySpark do walidacji i porównywania danych (MongoDB/ODS).
  • Implementacja reguł jakości danych, detekcji duplikatów, anomalii i braków oraz raportowania/alertowania.
  • Integracja i optymalizacja Spark–MongoDB (MongoDB Spark Connector, partitioning, push-down, schema-aware reads).
  • Projektowanie warstwy danych Raw → Bronze → Silver → Gold z wykorzystaniem Delta Lake/Iceberg/Hudi oraz CI/CD dla schematów i migracji.
  • Monitoring i observability procesów Spark/batch/stream (Prometheus, Grafana, OpenTelemetry, Dynatrace) oraz definiowanie SLA/SLO.
  • Automatyzacja deploymentów Spark na Docker/Kubernetes (Spark Operator).
  • Diagnozowanie problemów z danymi, wydajnością i opóźnieniami procesów.
  • Tworzenie dokumentacji technicznej, runbooków i diagramów przepływu danych.
  • Współpraca w Scrum/Kanban z Data Engineerami, BA, testerami i DevOps; prowadzenie warsztatów i code review.
Company

O projekcie

Dla naszego Klienta z sektora finansowego poszukujemy doświadczonego Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i rozwój rozwiązań do rekoncyliacji i synchronizacji danych w warstwie ODS (Operational Data Store), opartych na MongoDB, a także za budowę i utrzymanie warstw danych w architekturze Data Lakehouse – od surowych danych po warstwy Curated, Silver i Gold.

To oferujemy

  • Karta Multisport
  • Prywatna opieka medyczna

Benefity

  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna

HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ

Więcej niż jeden projekt. Więcej niż jeden rynek.
Jesteśmy częścią Hiberus, firmy technologicznej wywodzącej się z Hiszpanii z silną pozycją na rynku polskim: 4700+ specjalistów, obecnej w 14+ krajach i realizującej projekty dla klientów na całym świecie.
Pracujemy z technologiami AI, Data, Cloud, Software Development, BI i Cybersecurity. Ale przede wszystkim stawiamy na ludzi – gdy jeden projekt się kończy, szukamy kolejnych możliwości w ramach Hiberus, również w innych krajach.
Naszą wartość dodatkową stanowi Hiberus University - międzynarodowe środowisko i realna możliwość rozwijania swoich kompetencji. Ponad tysiąc osób przeszkolonych w zeszłym roku z wybranych technologii.
Pierwszy projekt to początek. Z Hiberus możesz budować swoją karierę długoterminowo.
Spark / Data Lakehouse Developer
18.5k–21.8k zł / mies. (B2B)
Zgłaszam się do:
HIBERUS POLAND SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
Wrocław, Stare Miasto
Pracodawca zbiera zgłoszenia przez swój system.
Przejdziesz na zewnętrzny formularz.

Klikając w przycisk „Aplikuj” potwierdzasz, że zapoznałeś(‑łaś) się i akceptujesz Regulamin serwisu.



This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

Brakuje Ci informacji?

  • Upewnij się, że w treści nie ma tego, czego szukasz.
  • Zadaj pytanie, jeśli potrzebujesz więcej szczegółów dotyczących powyższej oferty.
  • Przekażemy Twoje pytanie do pracodawcy i postaramy się dostarczyć odpowiedź w ciągu 3 dni roboczych.

Udostępnij ofertę