Data Engineer – Data Contracts & Quality (GCP)

Nasze wymagania

• Doswiadczenie z GCP
• Praktyczna znajomosc zagadnien dotyczacych obszaru Data Contracts (definiowane data contracts, wymagan jakosciowych) i narzedzi wspierajacych automatyzacje kontraktów (np. OpenAPI/JSON Schema, narzedzia do CI/CD, QA danych)
• Doswiadczenie w analizie, przetwarzaniu i modelowaniu danych, znajomosc architektury rozwiazan Hurtowni Danych i Big Data
• Znajomosc tworzenia zapytan SQL na poziomie zaawansowanym poparta praktycznym doswiadczeniem zawodowym
• English Level: B1

Mile widziane

• Kilka lat praktycznego doswiadczenia w Data Engineering, Data Governance, Data Quality, analizie danych lub pokrewnych obszarach, w tym doswiadczenie w samodzielnym projektowaniu i wdrazaniu rozwiazan przekrojowych.
• Doswiadczenie w projektowaniu modeli danych i budowie warstw danych
• Praktyka w zapewnieniu jakosci danych (testowanie, monitorowanie, alertowanie)
• Doswiadczenie w dokumentacji technicznej oraz code review
• Doswiadczenie w samodzielnym prowadzeniu tematów wymagajacych wspólpracy wielu zespolów — identyfikowaniu zaleznosci, ustalaniu odpowiedzialnosci, zarzadzaniu blockerami i doprowadzaniu do decyzji.
• Umiejetnosc dzialania w sytuacji niepelnych wymagan i braku jednoznacznego rozwiazania — od zdefiniowania problemu do wdrozenia rozwiazania.
• Umiejetnosc pracy zespolowej i komunikacji z zespolami biznesowymi, technicznymi oraz analitycznymi.
• Proaktywnosc, odpowiedzialnosc i nastawienie na jakosc w obszarze danych.
• Znajomosc standardu ODCS Znajomosc ekosystemu GCP
• Znajomosc zagadnien z obszaru Data Governance i Data Quality
• Doswiadczenie z narzedziami zarzadzania danymi, np.: dbt, Dataform (transformacja i dokumentacja danych)
• Knowledge Catalog (dawniej Dataplex)
• Data Catalog (zarzadzanie ladem danych)

Twój zakres obowiązków

• Implementacja, wdrazanie i utrzymywanie kontraktów danych (Data Contracts) w srodowisku GCP na podstawie uzgodnionych specyfikacji oraz przyjetej architektury i standardów.
• Implementacja i aktualizacja schematów danych oraz regul walidacji w kontraktach danych zgodnie z wymaganiami jakosciowymi uzgodnionymi z wlascicielami danych i zespolami technicznymi.
• Implementacja automatycznej walidacji schematów i zgodnosci danych z kontraktami oraz wspólpraca przy integracji tych mechanizmów z procesami CI/CD.
• Tworzenie zapytan SQL na potrzeby analizy danych, weryfikacji wymagan jakosciowych i identyfikowania niezgodnosci z kontraktami.
• Analiza, przetwarzanie i modelowanie danych na potrzeby definiowania oraz wdrazania kontraktów w rozwiazaniach hurtowni danych i Big Data.
• Wspólpraca z zespolami produktowymi, Data Engineering, BI oraz wlascicielami danych przy uzgadnianiu wymagan, definiowaniu kontraktów i rozwiazywaniu wykrytych niezgodnosci.
• Udzial w doborze narzedzi wspierajacych automatyzacje kontraktów oraz doskonaleniu procesów ich tworzenia, aktualizowania i utrzymywania.

O projekcie

Tak organizujemy naszą pracę

Tak pracujemy nad projektem

• Continuous Deployment
• Continuous Integration

To oferujemy

• full-time
• long-term
• Medicover
• Medicover Sport

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna

SQUARE ONE RESOURCES sp. z o.o.