Data engineer Big query

Nasze wymagania

• Minimum 5 lat doświadczenia w Data Engineeringu, w tym min. 2 lata praktycznego doświadczenia z Google Cloud Platform.
• Znajomość architektury data lakehouse, w tym medallion architecture oraz technologii Delta Lake lub Apache Iceberg.
• Bardzo dobra znajomość Pythona oraz PySpark na poziomie produkcyjnym oraz doświadczenie w pracy z BigQuery.
• Bardzo dobra, praktyczna znajomość Apache Airflow w zakresie budowy i utrzymania pipeline'ów danych.
• Umiejętność pracy z dużymi wolumenami danych oraz optymalizacji wydajności przetwarzania.
• Doświadczenie w budowie procesów CI/CD, w szczególności z wykorzystaniem GitHub Actions.
• Praktyczna znajomość Infrastructure as Code oraz Terraform.
• Język angielski na poziomie komunikatywnym.
• Wykształcenie wyższe o profilu technicznym.

Mile widziane

• Doświadczenie w projektowaniu modeli dostępu i bezpieczeństwa z wykorzystaniem IAM.
• Doświadczenie w projektach realizowanych dla sektora bankowego lub finansowego.
• Znajomość zagadnień FinOps i optymalizacji kosztów środowisk chmurowych.
• Znajomość Dataplex, katalogowania danych, metadanych oraz data lineage.
• Doświadczenie w obszarze Data Governance.

Twój zakres obowiązków

• Opracowanie standardów Data Governance, w tym rozwiązań z zakresu Dataplex oraz data lineage.
• Zoptymalizowana wydajność zapytań oraz koszty przetwarzania danych w BigQuery.
• Zaprojektowane i wdrożone procesy CI/CD z wykorzystaniem GitHub Actions.
• Zbudowana i utrzymana infrastruktura jako kod przy wykorzystaniu Terraform.
• Zbudowane, rozwinięte i utrzymane pipeline'y danych w Apache Airflow.
• Rozwinięte warstwy Gold i Platinum platformy lakehouse w BigQuery.
• Wdrożony model bezpieczeństwa danych w oparciu o IAM.

O projekcie

Tak organizujemy naszą pracę

To oferujemy

• Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
• Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
• Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
• Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
• Otwartość na okazjonalne spotkania projektowe w Warszawie (orientacyjnie 2x w tygodniu).
• 5 000 PLN za polecenie znajomych do naszych projektów.
• Elastyczną formę współpracy B2B.
• Szybki i zdalny proces.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• dofinansowanie szkoleń i kursów
• ubezpieczenie na życie
• możliwość pracy zdalnej
• elastyczny czas pracy

Etapy rekrutacji

• 1.
  CV
• 2.
  Rozmowa wstępna
• 3.
  Rozmowa techniczna

Connectis_