Data Engineer

Duchoslav Pavel, e-mail: pavel.duchoslav@deutsche-boerse.com

Vaše odpovědnosti:

o Navrhování, vytváření a optimalizace datových kanálů pro usnadnění extrakce dat z více zdrojů
o Poskytování podpory první úrovně pro požadavky koncových uživatelů při řešení problémů s datovými kanály
o Vývoj ETL/ELT (dávkový/streamový) systém z více zdrojů pomocí Spark a/nebo Kafka
o Provozování datových kanálů pro zajištění správy klíčových SLA napříč širokou škálou producentů a spotřebitelů
o Podpora různých komponent datových kanálů, včetně příjmu, validace, čištění
o Podpora spolupráce na datech, orchestrace, kvality, zabezpečení, přístupu a snadného použití
o Shromažďování datových požadavků od analytických a obchodních oddělení
o Psaní a správa provozní a technické dokumentace a provádění úkolů v agilní metodologii

Váš profil:
o Praktické zkušenosti s cloudovými nativními technologiemi, Azure/GCP
o Přímé zkušenosti s budováním datových kanálů, jako je Data Factory
o Požadovaná znalost SQL
o Pochopení široké škály technologií pro velká data a datové architektury
o Znalost datových platforem a technologií, jako jsou Kafka, Data Lake, Spark; Databricks výhodou
o Prokázaná zkušenost s jedním nebo více programovacími jazyky, nejlépe Pythonem
o Dobrá znalost CI/CD a nástrojů pro správu verzí, jako jsou Jenkins a GitHub Actions
o Schopnost začlenit do role inženýrské i provozní (DevOps) myšlení
o Zkušenosti s monitorovacími nástroji, jako jsou Prometheus, Grafana, ELK stack, výhodou
o Silný týmový hráč ochotný spolupracovat s kolegy napříč kancelářemi a funkcemi
o Znalost psané i mluvené angličtiny