(Podsumowanie wygenerowane przez AI na bazie pełnej treści ogłoszenia rekrutacyjnego)
Projekt dotyczy budowy i rozwoju architektury Data Lakehouse oraz systemu rekoncyliacji danych w warstwie ODS opartej o MongoDB. Wykorzystywane technologie to Apache Spark (PySpark, Spark SQL), Apache Iceberg (opcjonalnie Delta Lake / Hudi), MongoDB Spark Connector oraz narzędzia CI/CD i konteneryzacji jak Docker i Kubernetes. Zakres obowiązków obejmuje projektowanie i implementację procesów PySpark do porównywania i rekoncyliacji danych, tworzenie reguł Data Quality, optymalizację wydajności Spark, budowę warstw raw/bronze/silver/gold, integrację z MongoDB, wdrożenia CI/CD, konfigurację monitoringu (Prometheus, Grafana, OpenTelemetry, Dynatrace), definiowanie SLA/SLO, automatyzację wdrożeń, analizę problemów jakości danych oraz tworzenie dokumentacji i runbooków.

Mile widziane



Brakuje Ci informacji?