Senior Data Engineer – Microsoft Fabric / Azure

Nasze wymagania

• minimum 3 lat komercyjnego doświadczenia jako Data Engineer przy rozwiązaniach produkcyjnych,
• bardzo dobrej znajomości Python/PySpark oraz SQL i doświadczenia w pracy z dużymi zbiorami danych,
• praktycznego doświadczenia z Microsoft Fabric, Azure Synapse lub Databricks,
• doświadczenia w projektowaniu i rozwijaniu pipeline’ów przetwarzania danych,
• znajomości architektury medalionowej (Medallion Architecture) lub podobnego podejścia do warstwowej organizacji danych,
• praktycznej znajomości formatów Delta / Parquet,
• doświadczenia w integracji danych pochodzących z różnych źródeł – w tym baz danych oraz plików,
• doświadczenia w przetwarzaniu plików Excel dostarczanych przez użytkowników biznesowych,
• praktycznej znajomości Git i pracy z repozytorium w zespole,
• znajomości dobrych praktyk związanych z jakością, bezpieczeństwem i przetwarzaniem danych,
• gotowości do pracy hybrydowej w Warszawie – minimum 1 dzień w tygodniu z biura.

Mile widziane

• certyfikat Microsoft DP-600 lub DP-700,
• doświadczenie w sektorze finansowym, ubezpieczeniowym lub innym środowisku o wysokich wymaganiach audytowych,
• znajomość języka R,
• praktyczne doświadczenie z CI/CD dla platform danych,
• doświadczenie z frameworkami i rozwiązaniami Data Quality,
• doświadczenie w pracy w środowisku Agile / Scrum.

Twój zakres obowiązków

• projektowanie i implementacja pipeline’ów danych w Data Factory,
• tworzenie i rozwój notebooków PySpark w Microsoft Fabric,
• integracja i onboarding różnorodnych źródeł danych – zarówno plikowych, jak i bazodanowych,
• przeprowadzanie technicznej walidacji danych i standaryzacja ich formatów,
• tworzenie transformacji oraz przygotowywanie danych wsadowych,
• implementacja reguł Data Quality oraz mechanizmów identyfikowania i raportowania błędów,
• wersjonowanie zbiorów danych oraz zapisywanie metadanych dotyczących przebiegu procesów, źródeł i parametrów,
• rozwój rozwiązań zgodnie z dobrymi praktykami Git, CI/CD oraz code review,
• współpraca z zespołami biznesowymi, w tym obszarem Ryzyka, przy definiowaniu reguł transformacji danych,
• dbanie o zgodność przetwarzania danych z wymaganiami dotyczącymi prywatności i bezpieczeństwa,
• integracja standardów bezpieczeństwa organizacji ze środowiskiem Azure,
• optymalizacja procesów danych pod kątem wydajności i kosztów.

O projekcie

Tak organizujemy naszą pracę

Tak pracujemy nad projektem

• Clean Code
• code review
• TDD
• Continuous Deployment
• Continuous Integration
• wsparcie architekta / lidera technicznego
• narzędzia do trackowania zadań
• automatyzacja testów
• testy jednostkowe

Takie dajemy możliwości rozwoju

• wspieramy wydarzenia dla IT
• wymiana wiedzy technicznej w firmie

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne
• firmowa biblioteka
• brak dress code’u
• kawa / herbata
• napoje
• parking dla pracowników
• strefa relaksu

Etapy rekrutacji

• 1.
  Rozmowa telefoniczna
• 2.
  Rozmowa techniczna
• 3.
  Decyzja

GOLDENORE ITC sp. z o.o.