Praca w miastach:Praca IT Warszawa•Praca IT Kraków•Praca IT Wrocław•Praca IT Szczecin•Praca IT Poznań•Praca IT Lublin•Praca IT Katowice•Praca IT Bydgoszcz•Praca IT Łódź•Praca IT Białystok•Praca IT Toruń•Praca IT Gdańsk
Stanowiska:Grafik komputerowy praca•Tester gier praca•Programista praca•Tester oprogramowania praca•Frontend Developer praca•Data scientist praca•Tester manualny praca•Tester praca•Analytics praca•Tester aplikacji praca•Programista java praca•Web developer praca
Technologie i narzędzia:Python praca•Cyberbezpieczeństwo praca•Java praca•Bazy danych praca•Cisco praca•C++ praca•Javascript praca•SQL praca•Business Intelligence praca•Delphi praca•Wordpress praca•Testowanie aplikacji praca•C# praca•PHP praca
Specjalizacje:Backend praca•Devops praca•Frontend praca•Full-stack praca•GameDev praca•Mobile praca•Embedded praca•Architecture praca•QA/Testing praca•Security praca•AI/ML praca•Big data science praca•Helpdesk praca•IT admin praca•Agile praca•Product Management praca•Project Management praca•UX/UI praca•Business analytics praca•SAP & ERP praca•System analytics praca•PO/PM praca•Scrum master praca•Analityka praca•Data analytics & BI praca
Podsumowanie oferty
(Podsumowanie wygenerowane przez AI na bazie pełnej treści ogłoszenia rekrutacyjnego)
Projekt w zespole Data Platform koncentruje się na rekoncyliacji i przetwarzaniu danych w architekturze Data Lakehouse z użyciem Apache Iceberg. Wymagane minimum 4 lata doświadczenia z Apache Spark oraz biegłość w PySpark / Spark SQL. Zakres obowiązków obejmuje projektowanie i implementację procesów Spark SQL/PySpark, rekoncyliację danych między MongoDB a systemami źródłowymi, budowę reguł jakości danych i wykrywanie anomalii, integrację Sparka z MongoDB, rozwój warstw Data Lakehouse, optymalizację wydajności, rozwój CI/CD, monitoring (Prometheus/Grafana) oraz dokumentację i code review.
od: 9 października 2026
do: 8 listopada 2026
brak widełekkontrakt B2B
Parametry oferty
poziom:mid • senior
tryb pracy: zdalna
lokalizacja:Wrocław, dolnośląskie
Wrocław, dolnośląskie
Wymagania
Technologie wymagane
Apache Iceberg
MongoDB
Python
PySPark
Prometheus
Grafana
Jenkins
Technologie mile widziane
MongoSB Spark Connector
Structured Streaming
Delta Lake
Apache Hudi
Nasze wymagania
- Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrames
- Praktyczne doświadczenie z Apache Iceberg – warunek konieczny, w tym znajomość tabel wersjonowanych oraz operacji upsert/merge
- Doświadczenie z MongoDB – MongoDB Spark Connector nie jest wymagany
- Znajomość Python / PySpark
- Doświadczenie w tworzeniu procesów rekoncyliacji i przetwarzania danych
- Doświadczenie z Jenkins
- Znajomość Prometheus i Grafana
- Doświadczenie w pracy w Scrum lub Kanban oraz z Jira/Confluence
Twój zakres obowiązków
- Projektowanie i implementacja procesów w Spark SQL / PySpark
- Rekoncyliacja danych pomiędzy MongoDB a systemami źródłowymi
- Budowanie reguł jakości danych oraz wykrywanie duplikatów, braków i anomalii
- Integracja Apache Spark z MongoDB
- Budowa i rozwój warstw Data Lakehouse
- Optymalizacja wydajności procesów Spark
- Rozwój CI/CD dla aplikacji i procesów danych
- Monitoring procesów oraz diagnozowanie problemów produkcyjnych
- Tworzenie dokumentacji technicznej i udział w code review
O projekcie
Projekt realizowany w ramach zespołu Data Platform. Aktualne prace koncentrują się przede wszystkim na rekoncyliacji i procesach przetwarzania danych, dlatego doświadczenie w tych obszarach będzie szczególnie wartościowe.
Rozwiązania rozwijane są w architekturze Data Lakehouse. Apache Iceberg jest głównym wykorzystywanym formatem tabel i jego znajomość jest warunkiem koniecznym. Obecnie przetwarzanie odbywa się przede wszystkim w trybie batchowym, natomiast rozwiązania streamingowe planowane są w przyszłości.
Tak organizujemy naszą pracę
Tak pracujemy
u klienta
Etapy rekrutacji
- 1.Rozmowa techniczna
- 2.Rozmowa z klientem
B2B.NET S.A.
B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.
Spark / Data Lakehouse Developer (m/k/n)
Zgłaszam się do:
B2B.NET S.A.
Wrocław, dolnośląskie
Brakuje Ci informacji?
- Upewnij się, że w treści nie ma tego, czego szukasz.
- Zadaj pytanie, jeśli potrzebujesz więcej szczegółów dotyczących powyższej oferty.
- Przekażemy Twoje pytanie do pracodawcy i postaramy się dostarczyć odpowiedź w ciągu 3 dni roboczych.