Data engineer Azure

Nasze wymagania

• Minimum 6-letnie doświadczenie komercyjne na stanowisku Data Engineer lub pokrewne.
• Praktyczne doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT oraz data pipelines w środowisku Azure.
• Umiejętność analizowania wymagań biznesowych oraz tworzenia i utrzymywania dokumentacji technicznej (BRD, SRD, DDL).
• Doświadczenie w pracy z architekturą Data Lake / Lakehouse, w tym projektowaniem warstw Staging, Core i Curated.
• Zaawansowana znajomość SQL (T-SQL) oraz doświadczenie w optymalizacji zapytań i modelowaniu danych.
• Bardzo dobra znajomość Azure Databricks, Azure Data Factory oraz usług ekosystemu Azure Data Platform.
• Doświadczenie w pracy z Azure Data Lake Storage (ADLS) oraz rozwiązaniami opartymi o Lakehouse.
• Bardzo dobra znajomość PySpark oraz Python w kontekście przetwarzania i transformacji danych.
• Otwartość na pracę w trybie hybrydowym z biura we Wrocławiu (3 dni zdalnie, 2 dni z biura).
• Biegła znajomość języka angielskiego C1.

Twój zakres obowiązków

• Tworzenie i optymalizacja notebooków PySpark oraz Spark SQL w Databricks do ekstrakcji, transformacji i przetwarzania danych oraz generowania Shared File Formats (SFF).
• Przygotowywanie dokumentacji technicznej, w tym dokumentów projektowych, prototypów i specyfikacji na podstawie wymagań biznesowych i systemowych.
• Współpraca z Data Modelerami przy mapowaniu danych source-to-staging, analizie schematów oraz tworzeniu definicji DDL dla tabel i widoków.
• Wsparcie działań Data Governance, w tym zarządzanie data lineage, katalogowaniem danych oraz współpraca z Information Stewardami.
• Monitorowanie i optymalizacja wydajności procesów SQL i Spark, identyfikacja wąskich gardeł oraz tuning jobów przetwarzania danych.
• Konfiguracja i utrzymanie tabel Ingestion Framework (IF) wspierających automatyczne ładowanie danych do warstw staging i DLC.
• Aktywny udział w analizie wymagań, estymacjach oraz ceremoniach Agile (Sprint Planning, Backlog Refinement, Retrospectives).
• Udział w design review i code review procesów ETL/ELT oraz wdrażanie dobrych praktyk CI/CD w obszarze Data Engineering.
• Udział w migracjach danych z systemów legacy do architektury chmurowej Azure Data Lake.

O projekcie

To oferujemy

• 🤖 Nowoczesny proces rekrutacji z AI Rekruterem (AIR) - podczas aplikacji możesz odbyć rozmowę z wirtualnym rekruterem 24/7, bez czekania na telefon, z natychmiastowym feedbackiem i możliwością powtórzenia rozmowy (liczy się ostatnia wersja). Finalną decyzję zawsze podejmuje Rekruter Connectis.
• Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Wsparcie dedykowanej osoby kontaktowej Connectis, która zawsze jest dostępna, by pomóc Ci w sprawach związanych z projektem.
• Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.
• 5000 PLN za polecenie znajomych do naszych projektów.
• Dostęp do najnowszych technologii i narzędzi pracy.
• Szybki i zdalny proces.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• możliwość pracy zdalnej
• elastyczny czas pracy

Etapy rekrutacji

• 1.
  CV
• 2.
  Rozmowa wstępna
• 3.
  Rozmowa techniczna

Connectis_