Senior Data Engineer

Nasze wymagania

• Minimum 8 lat doświadczenia w obszarze Data Engineering, rozwoju procesów ETL lub technologii Big Data.
• Bardzo dobra znajomość Databricks, Python oraz SQL.
• Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem dbt, Apache Airflow, Azure Data Factory lub Apache NiFi.
• Praktyczne doświadczenie z platformami danych działającymi w środowisku chmurowym, takimi jak Azure Synapse, Databricks, Snowflake lub BigQuery.
• Doświadczenie w modelowaniu danych z wykorzystaniem Data Vault 2.0, Star Schema oraz strategii normalizacji danych.
• Doświadczenie z technologiami przetwarzania rozproszonego, takimi jak Apache Spark, Hadoop Apache Kafka lub Event Hub.
• Doświadczenie z Databricks Structured Streaming.
• Doświadczenie z rozwiązaniami Infrastructure as Code, takimi jak Terraform, Pulumi lub ARM Templates.
• Znajomość zagadnień związanych z Data Governance, bezpieczeństwem danych (RBAC, Data Lineage, szyfrowanie, zgodność z regulacjami).
• Doświadczenie w pracy w środowisku Federated Engineering oraz z dużymi platformami danych klasy enterprise.
• Znajomość narzędzi do monitorowania i obserwowalności procesów danych, takich jak Monte Carlo, DataDog oraz Great Expectations.
• Doświadczenie w pracy zgodnie z metodykami Agile oraz DevSecOps.
• Wykształcenie wyższe na kierunku Informatyka, Data Engineering, Systemy Informacyjne lub pokrewnym.
• Doświadczenie w optymalizacji i skalowaniu procesów przetwarzania danych.
• Umiejętność samodzielnego prowadzenia inicjatyw technicznych oraz wpływania na decyzje architektoniczne.
• Bardzo dobra znajomość języka angielskiego.

Twój zakres obowiązków

• Projektowanie, rozwój i optymalizacja skalowalnych procesów przetwarzania danych w modelu batch oraz real-time.
• Projektowanie i rozwój procesów integracji, transformacji oraz przechowywania danych.
• Projektowanie modeli danych oraz zapewnienie spójności, jakości i dostępności danych.
• Optymalizacja wydajności oraz kosztów infrastruktury danych.
• Tworzenie i rozwój rozwiązań wspierających automatyzację oraz orkiestrację procesów danych.
• Monitorowanie, diagnozowanie i optymalizacja procesów przetwarzania danych oraz zapewnienie ich wysokiej dostępności.
• Współpraca z zespołami inżynierskimi, data scientistami oraz analitykami biznesowymi przy projektowaniu i rozwoju rozwiązań danych.
• Wdrażanie dobrych praktyk z zakresu Data Engineering, bezpieczeństwa danych oraz zgodności z obowiązującymi regulacjami.
• Ocena i wdrażanie nowych technologii oraz udział w rozwoju architektury danych.
• Wspieranie rozwoju mniej doświadczonych członków zespołu oraz dzielenie się wiedzą.

O projekcie

Tak organizujemy naszą pracę

Tak pracujemy nad projektem

• Continuous Deployment
• Continuous Integration
• dokumentacja
• narzędzia do trackowania zadań
• środowiska testowe

To oferujemy

• Długofalowa współpraca oparta o nasze wartości: edukacja, partnerstwo i odpowiedzialność.
• Praca w projektach dedykowanych dla największych marek na świecie z sektora finansowego i telekomunikacyjnego.
• Możliwość wymiany doświadczeń w międzynarodowych środowisku i rozwoju w projektach realizowanych w Polsce, lub innych krajach: Słowacja, Czechy, Bułgaria.
• Praca w nowoczesnym środowisku z innowacyjnymi technologiami.
• Elastyczne godziny pracy.
• Prywatna opieka medyczna.
• Karta Multisport lub My Cafeteria.
• Ubezpieczenie na życie.
• NATEK loyalty Club.
• Możliwość dołączenia do społeczności odpowiedzialnej społecznie i uczestniczenia w inicjatywach firmowych.
• Dla kontraktorów - uprawnienie do 23 dodatkowych dni świadczenia usług w roku.
• Dodatkowy płatny dzień wolny na wolontariat dla pracowników na etacie.

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• ubezpieczenie na życie
• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne
• program rekomendacji pracowników
• dodatkowy urlop

NATEK POLAND