Senior Data Platform Engineer (m/k)

Nasze wymagania

• Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne
• Bardzo dobra znajomość języków Python oraz ANSI‑SQL
• Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią
• Doświadczenie w korzystaniu z dostępnych konektorów Databricks do integracji systemów źródłowych (np. REST API, JDBC, SaaS, pliki).
• Doświadczenie w pracy z przetwarzaniem strumieniowym (Structured Streaming, Auto Loader)
• Umiejętność projektowania i orkiestracji złożonych pipelinów danych (ETL/ELT) w architekturze medalionu w ramach platform danych z wykorzystaniem Databricks i/lub Azure Data Factory
• Znajomość zasad data governance i security w platformach danych (np. Unity Catalog, RBAC, zarządzanie dostępami)
• Znajomość przetwarzania rozproszonego i optymalizacji Spark (tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM)
• Doświadczenie w pracy ze Spark Declarative Pipelines (definiowanie zależności, zarządzanie DAG, integracja z pipeline’ami danych)
• Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem
• Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks
• Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2.
• Doświadczenie w pracy z dokumentacją projektową.
• Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy)

Twój zakres obowiązków

• Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks
• Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych
• Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi
• Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi
• Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi
• Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym
• Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych

To oferujemy

• Pracę na kontrakcie B2B
• Dostęp do systemu myBenefit, w tym prywatne ubezpieczenie medyczne, Multisport i wiele innych
• Prezenty na różne okazje
• Wydarzenia firmowe

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• spotkania integracyjne
• brak dress code’u
• paczki świąteczne
• program rekomendacji pracowników

Etapy rekrutacji

• 1.
  Rozmowa telefoniczna – wstępna rozmowa z Rekruterem
• 2.
  Weryfikacja u klienta – ocena dopasowania do wymagań biz.
• 3.
  Rozmowa kwalifikacyjna – spotkanie z przedstawicielem firmy

Integral Solutions