Blogpro:radar newKalkulator wynagrodzeńZarobki ITFirmy ITDaj feedbackO nas
HR ITBlog
Dodaj ogłoszenie
Praca IT
Oferty pracy
Senior Data Engineer (Databricks & Python)
Praca w miastach:Praca IT Warszawa•Praca IT Kraków•Praca IT Wrocław•Praca IT Szczecin•Praca IT Poznań•Praca IT Lublin•Praca IT Katowice•Praca IT Bydgoszcz•Praca IT Łódź•Praca IT Białystok•Praca IT Toruń•Praca IT Gdańsk
Stanowiska:Grafik komputerowy praca•Tester gier praca•Programista praca•Tester oprogramowania praca•Frontend Developer praca•Data scientist praca•Tester manualny praca•Tester praca•Analytics praca•Tester aplikacji praca•Programista java praca•Web developer praca
Technologie i narzędzia:Python praca•Cyberbezpieczeństwo praca•Java praca•Bazy danych praca•Cisco praca•C++ praca•Javascript praca•SQL praca•Business Intelligence praca•Delphi praca•Wordpress praca•Testowanie aplikacji praca•C# praca•PHP praca
Specjalizacje:Backend praca•Devops praca•Frontend praca•Full-stack praca•GameDev praca•Mobile praca•Embedded praca•Architecture praca•QA/Testing praca•Security praca•AI/ML praca•Big data science praca•Helpdesk praca•IT admin praca•Agile praca•Product Management praca•Project Management praca•UX/UI praca•Business analytics praca•SAP & ERP praca•System analytics praca•PO/PM praca•Scrum master praca•Analityka praca•Data analytics & BI praca
Offer summary

(Summary generated by AI based on the full job description)

The project focuses on building and maintaining a labeling data platform for collecting, processing and distributing labeling content and eLabel within an Azure Databricks Lakehouse. The technology stack centers on Azure Databricks, Python/PySpark, Spark SQL, Delta Lake, ADLS Gen2 and orchestration tools like Databricks Workflows/Jobs and optionally Delta Live Tables. Responsibilities include designing and developing scalable pipelines using the Bronze→Silver→Gold architecture, ingesting data from APIs/JSON/files, implementing data quality rules, validation, reconciliation, monitoring and automated tests, performance optimization and partitioning, CI/CD for code/notebooks and ensuring traceability, auditability and compliance in a regulated environment. Benefits include co-financed sports activities and private medical care.

newyou can start ASAP

Senior Data Engineer (Databricks & Python)

Company: IT CONNECT Sp. z o.o. Sp. k.

from: 29 October 2026
to: 28 November 2026
salary not specifiedB2B contract (full-time)
Salary details
basic salary
Offer parameters
level:senior
working mode:remote
location:Warszawa, Masovian
Warszawa, Masovian

Requirements

Expected technologies

Python
PySpark
SQL

Our requirements

  • Strong Azure Databricks engineering with Python/PySpark, Spark SQL and Delta Lake.
  • Deep knowledge of the Bronze → Silver → Gold medallion architecture shown in the diagram.
  • Ingestion of structured JSON/API/file data, ADLS Gen2 and Azure Storage.
  • Databricks Workflows/Jobs and preferably Delta Live Tables/Lakeflow where appropriate.
  • Schema enforcement/evolution, data-quality rules, validation and reconciliation.
  • Data transformation and standardization, metadata management and lineage.
  • Unity Catalog/governance experience.
  • API-based ingestion/export patterns.
  • Handling document metadata and references to PDF/eLabel assets.
  • Performance optimization and partitioning.
  • CI/CD for notebooks/code and automated data tests.
  • Monitoring/error handling/reprocessing.
  • Experience supporting regulated data pipelines with traceability, auditability, reproducibility and controlled releases.
  • Experience working in regulated environments with strong compliance and quality requirements.

Your responsibilities

  • Develop and maintain data pipelines using Azure Databricks, Python, PySpark, Spark SQL, and Delta Lake.
  • Design and implement solutions following the Bronze → Silver → Gold medallion architecture.
  • Ingest and process data from APIs, JSON files, Azure Storage, and enterprise systems.
  • Build and maintain data quality, validation, reconciliation, monitoring, and automated data testing frameworks, including data quality rules, schema validation, and operational controls.
  • Optimize performance, partitioning, and scalability of data workloads.
  • Implement CI/CD, automated testing, error handling, and reprocessing processes.
  • Ensure traceability, auditability, reproducibility, and controlled releases for regulated data pipelines.

About the project

Dołączysz do zespołu Labeling Data Platform, który wspiera gromadzenie, przetwarzanie, transformację, zarządzanie oraz dystrybucję treści labelingowych i eLabel w wielu systemach oraz procesach regulacyjnych.
Projekt obejmuje projektowanie, budowę i utrzymanie skalowalnych pipeline’ów danych oraz produktów danych w środowisku Azure Databricks Lakehouse, z naciskiem na wysoką jakość, niezawodność, audytowalność i zgodność przepływów danych wspierających globalne operacje labelingowe.

This is how we organize our work

This is how we work

at the client's site

This is how we work on a project

  • Continuous Deployment
  • Continuous Integration
Company

Benefits

  • sharing the costs of sports activities
  • private medical care

Recruitment stages

  • 1.
    Recruitment interview (15 min.)
  • 2.
    Recruitment meeting with the Client (60 min.)

IT CONNECT Sp. z o.o. Sp. k.

ITConnect – Twój partner w świecie nowoczesnych kadr.
Jesteśmy polską firmą z blisko 20-letnim doświadczeniem na rynku. Nasza historia zaczęła się w 2007 roku, a dziś, dzięki dynamicznej transformacji, wspieramy nie tylko sektor IT, ale również branże takie jak inżynieryjna, budowlana, telekomunikacyjna oraz wiele innych.
W ITC wierzymy, że technologia nas łączy, ale to relacje nas budują.
Nie jesteśmy zwykłym dostawcą usług – przejmujemy operacyjne wyzwania rekrutacyjne, aby nasi klienci mogli w pełni skupić się na swojej strategii i rozwoju.
Co nas wyróżnia?
  • Wszechstronność: Dostarczamy nie tylko programistów i testerów, ale także inżynierów, kierowników projektów oraz analityków biznesowych.
  • Elastyczne modele współpracy: Specjalizujemy się w outsourcingu personalnym (body leasing), rekrutacjach stałych, headhuntingu oraz modelu Try&Hire.
  • Podejście Human-Centric: Dla nas ludzie to nie cyferki. Stawiamy na autentyczność, wellbeing i zdrowie psychiczne naszych specjalistów, co przekłada się na ich efektywność i stabilność zespołów u naszych klientów.
  • Innowacyjność i stabilność: Jesteśmy laureatem Polskiej Nagrody Innowacyjności oraz wielokrotnym zdobywcą tytułu Gazele Biznesu.
    • Szukasz specjalistów do swojego zespołu lub nowej ścieżki zawodowej?
    Skontaktuj się z nami i sprawdźmy, co możemy wspólnie zbudować!
    Senior Data Engineer (Databricks & Python)
    I apply to:
    IT CONNECT Sp. z o.o. Sp. k.
    Warszawa, Masovian
    Pracodawca zbiera zgłoszenia przez swój system.
    Przejdziesz na zewnętrzny formularz.

    By clicking "Aplikuj" you confirm that you've read and accepted our Terms and Conditions.

    Certain terms used in this advertisement result from the standard layout and functionality of the website. They are technical in n ...

    This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

    Need more information?

    • Make sure the body of the offer doesn’t already include what you’re looking for.
    • Ask a question if you need more information you’re interested in.
    • We’ll forward your question to the employer and aim to provide a response within 3 business days.

    Share this offer