Senior Data Engineer – GCP / BigQuery / Data Lakehouse

Nasze wymagania

• Minimum 5 lat komercyjnego doświadczenia w inżynierii danych, w tym minimum 2 lata pracy przy projektach opartych o Google Cloud Platform.
• Doświadczenie w projektowaniu i wdrażaniu hurtowni danych / Data Lakehouse w dużych, produkcyjnych środowiskach.
• Umiejętność projektowania rozwiązań end-to-end i świadomego podejmowania decyzji architektonicznych.
• Bardzo dobra komunikacja i umiejętność współpracy z zespołami technicznymi oraz biznesowymi.
• Technologie i kompetencje wymagane
• SQL – poziom zaawansowany: złożone zapytania analityczne, window functions, CTE, optymalizacja zapytań i modelowanie danych.
• Python – poziom zaawansowany: programowanie obiektowe, tworzenie produkcyjnych modułów, testy jednostkowe oraz biblioteki do przetwarzania danych, m.in. pandas i NumPy.
• Google Cloud Platform: praktyczna znajomość ekosystemu GCP, w szczególności IAM, Cloud Storage, Secret Manager oraz Cloud Logging/Monitoring.
• BigQuery: projektowanie schematów, partycjonowanie i klastrowanie tabel oraz optymalizacja kosztów i wydajności zapytań.
• dbt (Core lub Cloud): modele, makra, testy, snapshoty i dokumentacja.
• Apache Airflow: projektowanie produkcyjnych DAG-ów oraz orkiestracja pipeline’ów dbt i zadań GCP.
• Apache Spark: tworzenie zadań PySpark i optymalizacja jobów.
• CI/CD: GitHub Actions, automatyzacja testów i deploymentu pipeline’ów danych.
• Git: biegłość w pracy z branchami, pull requestami, code review i git flow.

Mile widziane

• Terraform – moduły, workspaces i zarządzanie state dla GCP.
• Data Governance / Knowledge Catalog – Dataplex, Data Catalog, metadane, data lineage oraz klasyfikacja danych wrażliwych (DLP).
• Docker – konteneryzacja aplikacji i tworzenie customowych obrazów.
• Doświadczenie w obszarze FinOps i optymalizacji kosztów GCP.
• Praktyczne doświadczenie z architekturą medallion lub data mesh.
• Doświadczenie w sektorze finansowym lub bankowym.
• Certyfikaty GCP, w szczególności Professional Data Engineer lub Professional Cloud Architect.

Twój zakres obowiązków

• Budowa i utrzymanie produkcyjnych pipeline’ów danych z wykorzystaniem dbt oraz Apache Airflow.
• Rozwój komponentów przetwarzania danych w Pythonie i PySpark.
• Projektowanie i rozwój warstw Gold i Platinum platformy lakehouse w BigQuery, zgodnie z architekturą medallion.
• Projektowanie rozwiązań end-to-end oraz podejmowanie i uzasadnianie decyzji architektonicznych.
• Optymalizacja wydajności i kosztów BigQuery, w tym partycjonowanie, klastrowanie oraz działania z obszaru FinOps.
• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.
• Rozwój infrastruktury jako kodu (Terraform) dla środowiska GCP.
• Implementacja i rozwój modelu bezpieczeństwa danych: IAM, RBAC/ABAC, policy tags, DLP.
• Współtworzenie standardów Data Governance, w tym zarządzania metadanymi i data lineage.
• Udział w code review oraz kształtowanie standardów i dobrych praktyk pracy zespołu.
• Współpraca z analitykami, data scientistami oraz stakeholderami biznesowymi.
• Konsultacje techniczne dla zespołów domenowych działających w modelu hub & spoke.
• Promowanie dobrych praktyk inżynierii danych i rozwiązań cloud-native w środowisku GCP.

O projekcie

Tak organizujemy naszą pracę

To oferujemy

• Długoterminowa współpraca
• Możliwość wyboru preferowanego rodzaju współpracy (regularna umowa o pracę ze wszystkimi korzyściami lub elastyczny kontrakt B2B)
• Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
• Mentoring Competence Center - będziesz członkiem społeczności CC od pierwszego dnia pracy. Będziesz miał szansę rozwijać swoje umiejętności, uczestniczyć w różnych konferencjach oraz dzielić się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
• Jasna ścieżka kariery
• Pakiet benefitów pracowniczych
• Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe

ASTEK Polska