Nasze wymagania
Kafka i Confluent
Minimum 4 lata doświadczenia z Apache Kafka.
Biegła znajomość:
Confluent Platform (Enterprise),
Confluent Kafka,
Confluent Cloud.
Doświadczenie w budowie, utrzymaniu, migracji i replikacji klastrów Kafka.
Praktyczna znajomość:
MirrorMaker 2,
Cluster Linking,
Confluent Replicator.
AWS
Praktyczna znajomość usług:
VPC,
IAM,
EC2,
EKS,
MSK,
S3,
KMS,
AWS Secrets Manager.
Środowiska hybrydowe
Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.
Infrastructure-as-Code
Bardzo dobra znajomość Terraform, w tym:
tworzenie modułów,
zarządzanie stanem i wersjonowaniem,
testowanie infrastruktury,
Terratest,
tfsec.
Znajomość Ansible.
CI/CD
Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
Znajomość:
GitHub Actions,
GitLab CI,
Jenkins.
Doświadczenie w automatyzacji testów integracyjnych dla Kafki.
Programowanie i scripting
Znajomość:
Python,
Bash,
Ansible.
Monitoring i observability
Doświadczenie z:
Prometheus,
Grafana,
Confluent Control Center,
OpenTelemetry,
Elastic Stack.
Bezpieczeństwo
Znajomość:
TLS,
SASL,
ACL,
RBAC,
szyfrowania danych w spoczynku,
szyfrowania danych w tranzycie.
Metodyki pracy
Doświadczenie w pracy w Scrum i/lub Kanban.
Znajomość narzędzi:
Jira,
Confluence.
Twój zakres obowiązków
1. Architektura i projektowanie
Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS).
Dobór i konfiguracja komponentów Confluent Platform, m.in.:
Schema Registry,
Flink,
Control Center,
Tableflow.
Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność.
2. Budowa środowiska AWS
Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud.
Konfiguracja niezbędnych usług AWS, m.in.:
VPC,
IAM,
EC2,
EKS,
S3,
KMS,
Secrets Manager.
Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.
3. Replikacja i synchronizacja danych
Implementacja i konfiguracja:
MirrorMaker 2,
Cluster Linking,
Confluent Replicator.
Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS.
Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.
Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją.
4. CI/CD i Infrastructure-as-Code
Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem:
GitHub Actions,
GitLab CI,
Jenkins.
Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich.
Implementacja Infrastructure-as-Code w Terraform:
tworzenie i utrzymywanie modułów,
wersjonowanie infrastruktury,
testowanie planów,
automatyzacja procesu apply.
Automatyzacja testów integracyjnych dla środowisk Kafka.
Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń.
5. Monitoring, observability i operacje
Implementacja i utrzymywanie monitoringu z wykorzystaniem:
Prometheus,
Grafana,
Confluent Control Center,
OpenTelemetry,
Elastic Stack.
Tworzenie i utrzymywanie:
runbooków,
alertów,
SLA/SLO.
Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy.
Optymalizacja wydajności i tuning konfiguracji Kafka.
6. Bezpieczeństwo
Konfiguracja i utrzymanie mechanizmów bezpieczeństwa:
TLS,
SASL,
ACL,
RBAC.
Implementacja szyfrowania danych w spoczynku oraz podczas transmisji.
Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury.
7. Współpraca i mentoring
Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security.
Mentoring mniej doświadczonych członków zespołu.
Prowadzenie warsztatów i dzielenie się wiedzą techniczną.