Spark / Data Lakehouse Developer
Podsumowanie oferty

(Podsumowanie wygenerowane przez AI na bazie pełnej treści ogłoszenia rekrutacyjnego)

Projekt dotyczy budowy i rozwoju architektury Data Lakehouse oraz systemu rekoncyliacji danych w warstwie ODS opartej o MongoDB. Wykorzystywane technologie to Apache Spark (PySpark, Spark SQL), Apache Iceberg (opcjonalnie Delta Lake / Hudi), MongoDB Spark Connector oraz narzędzia CI/CD i konteneryzacji jak Docker i Kubernetes. Zakres obowiązków obejmuje projektowanie i implementację procesów PySpark do porównywania i rekoncyliacji danych, tworzenie reguł Data Quality, optymalizację wydajności Spark, budowę warstw raw/bronze/silver/gold, integrację z MongoDB, wdrożenia CI/CD, konfigurację monitoringu (Prometheus, Grafana, OpenTelemetry, Dynatrace), definiowanie SLA/SLO, automatyzację wdrożeń, analizę problemów jakości danych oraz tworzenie dokumentacji i runbooków.

newquick applyyou can start ASAP

Spark / Data Lakehouse Developer

Firma: NATEK POLAND

od: 19 listopada 2026
do: 19 grudnia 2026
brak widełekkontrakt B2B (pełny etat)
brak widełekumowa o pracę
Parametry oferty
poziom:senior
tryb pracy: zdalna • hybrydowa
lokalizacja:Wrocław, dolnośląskie
Wrocław, dolnośląskie

Wymagania

Technologie wymagane

Apache Spark
PySpark
Spark SQL
DataFrames
Apache Iceberg
Jenkins
Python
Jira
Confluence

Technologie mile widziane

Docker
Kubernetes

Nasze wymagania

  • Minimum 4 lata doświadczenia na stanowisku związanym z Data Engineering, Apache Spark lub Data Lakehouse.
  • Bardzo dobra znajomość Apache Spark, PySpark, Spark SQL, DataFrames oraz Structured Streaming.
  • Praktyczne doświadczenie w pracy z Apache Iceberg w środowiskach produkcyjnych, obejmujące zarządzanie tabelami wersjonowanymi oraz implementację procesów upsert/merge.
  • Doświadczenie w integracji oraz przetwarzaniu danych z wykorzystaniem MongoDB i MongoDB Spark Connector.
  • Znajomość architektury Data Lakehouse oraz budowy warstw raw /bronze/silver/gold.
  • Doświadczenie w optymalizacji wydajności i kosztów przetwarzania danych w środowiskach Big Data.
  • Znajomość narzędzi Jenkins oraz procesów CI/CD.
  • Dobra znajomość Python.
  • Doświadczenie z narzędziami monitoringu i observability, takimi jak Prometheus i Grafana.
  • Doświadczenie w pracy w metodykach Scrum lub Kanban.
  • Znajomość narzędzi Jira oraz Confluence.
  • Bardzo dobra znajomość języka polskiego.

Mile widziane

  • Doświadczenie z Delta Lake lub Apache Hudi.
  • Znajomość środowisk kontenerowych Docker oraz orkiestracji Kubernetes.
  • Doświadczenie z OpenTelemetry lub Dynatrace.
  • Praktyczna znajomość procesów Data Governance, Data Quality oraz monitorowania jakości danych.
  • Doświadczenie w prowadzeniu warsztatów technicznych i mentoringu zespołów developerskich.
  • Znajomość architektury przetwarzania danych w czasie rzeczywistym (Streaming).

Twój zakres obowiązków

  • Projektowanie i implementacja procesów PySpark oraz Spark SQL służących do porównywania i rekoncyliacji danych pomiędzy MongoDB (ODS) a systemami źródłowymi.
  • Tworzenie i rozwój reguł Data Quality, wykrywanie duplikatów, brakujących danych oraz anomalii wraz z generowaniem raportów i alertów.
  • Integracja Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector.
  • Optymalizacja procesów odczytu i przetwarzania danych, w tym partitioning, schema-aware reads oraz query push-down.
  • Projektowanie i rozwój warstw danych w architekturze Data Lakehouse (raw/bronze/silver/gold) z wykorzystaniem Apache Iceberg, Delta Lake lub Apache Hudi.
  • Implementacja i utrzymanie procesów CI/CD dla aplikacji Spark, schematów tabel oraz migracji danych.
  • Optymalizacja wydajności środowiska Spark, w tym caching, broadcast joins, Adaptive Query Execution (AQE) oraz optymalizacja kosztów przetwarzania danych.
  • Konfiguracja monitoringu i obserwowalności rozwiązań z wykorzystaniem Prometheus, Grafana, OpenTelemetry oraz Dynatrace.
  • Definiowanie i monitorowanie SLA/SLO oraz przygotowywanie mechanizmów alertowania dla procesów danych.
  • Automatyzacja wdrożeń aplikacji przy użyciu Docker, Kubernetes oraz Spark Operator.
  • Analiza i rozwiązywanie problemów związanych z jakością danych, opóźnieniami przetwarzania oraz niespójnościami danych.
  • Tworzenie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
  • Współpraca z zespołami Data Engineering, Business Analysis, QA oraz DevOps.
  • Udział w code review, warsztatach technicznych oraz inicjatywach usprawniających rozwój platformy danych.

O projekcie

Dołącz do NATEK jako Spark / Data Lakehouse Developer i wesprzyj projekt realizowany w zespole Data Platform, którego celem jest projektowanie oraz rozwój rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store) opartej o MongoDB, a także budowa i rozwój nowoczesnej architektury Data Lakehouse. Będziesz odpowiadać za tworzenie skalowalnych rozwiązań przetwarzania danych z wykorzystaniem Apache Spark, Apache Iceberg, MongoDB oraz nowoczesnych praktyk Data Engineering, wspierając wysoką jakość, spójność i dostępność danych w środowisku produkcyjnym.

Tak organizujemy naszą pracę

Tak pracujemy

agilescrumkanban

Tak pracujemy nad projektem

  • Continuous Deployment
  • Continuous Integration
  • DevOps
  • narzędzia do trackowania zadań
Company

To oferujemy

  • Program Mobilności Wewnętrznej – ciesz się wieloma możliwościami rozwoju kariery, rotacją stanowisk, różnorodnością projektów i technologii
  • Program Poleceń – ciesz się współpracą ze swoimi kolegami i otrzymaj bonus.
  • Klub NATEK 5/10 lat – oferujemy długoterminową współpracę i świętujemy każdą piątą rocznicę współpracy prezentami
  • Wydarzenia CSR NATEK i budowanie zespołów – ciesz się naszymi wartościami: odpowiedzialnością, partnerstwem i wiedzą specjalistyczną oraz #workITwithus
  • Kafeteria
  • Opieka Medyczna
  • Karta Klubu Multisport
  • Szkolenia techniczne i personalne
  • Kursy językowe
  • Dodatkowo tylko dla UOP:
  • Ubezpieczenie na życie
  • Bonusy za wydarzenia personalne
  • Dzień wolny na wolontariat

Benefity

  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna
  • ubezpieczenie na życie
  • możliwość pracy zdalnej
  • elastyczny czas pracy
  • spotkania integracyjne
  • program rekomendacji pracowników

NATEK POLAND

Firma założona w Czeskim Brnie w 2004 roku, od samego początku skoncentrowana na współpracy ze światowymi liderami branży IT. Jesteśmy doświadczoną firmą posiadającą dogłębną wiedzę z zakresu budowania wydajnych zespołów projektowych IT.
Naszą misją jest dostarczanie wysokiej jakości rozwiązań outsourcingowych IT w Europie Środkowo-Wschodniej, aby pomóc naszym klientom w poprawie ich wydajności, zapewniając jednocześnie naszym pracownikom środowisko pracy oparte na partnerstwie.
Doświadczenie naszych zespołów w różnych branżach (FMCG, bankowość, motoryzacja, telekomunikacja) pozwala nam trafnie przewidywać potrzeby klientów. Dzięki naszej specjalistycznej wiedzy opracowujemy rozwiązania dostosowane do indywidualnych potrzeb. Nasze zespoły pomagają dopasować ekspertów IT do odpowiednich projektów, aby zapewnić satysfakcjonujące rozwiązania dla obu stron.

Tak się u nas pracuje

Spark / Data Lakehouse Developer
Zgłaszam się do:
NATEK POLAND
Wrocław, dolnośląskie

Brakuje Ci informacji?

  • Upewnij się, że w treści nie ma tego, czego szukasz.
  • Zadaj pytanie, jeśli potrzebujesz więcej szczegółów dotyczących powyższej oferty.
  • Przekażemy Twoje pytanie do pracodawcy i postaramy się dostarczyć odpowiedź w ciągu 3 dni roboczych.

Udostępnij ofertę