Senior Data Engineer (Databricks)

Description

NESS Digital Engineering

Senior Data Engineer

Databricks | Cloudové datové platformy

Lokalita

Praha — hybridní režim (až 2 dny z domova týdně)

Projekt

Strategická migrace datového skladu na moderní cloudovou platformu

Role

Konzultant & realizace — od návrhu až po implementaci

Seniority

3+ roky zkušeností v datovém inženýrství

Proč Ness

Věříme, že lidé jsou naším největším aktivem. Profesionalita, inovace, týmová spolupráce a orientace na kvalitu jsou hodnoty, díky kterým patří Ness mezi přední technologické společnosti na světě. Právě tyto principy stojí za naším dlouhodobým úspěchem.

V Ness budete pracovat na produktech a platformách pro jedny z nejinovativnějších technologických firem na světě. Získáte zkušenosti po boku špičkových odborníků, které vám pomůžou urychlit váš profesní růst.

Současně vám nabízíme širokou škálu benefitů – přístup ke školením a certifikacím, bonusy, podporu vzdělávání, společenské aktivity a atraktivní finanční ohodnocení.

Požadavky a odpovědnosti

Jdeme dělat největší migraci svého druhu — přesun datového skladu budovaného roky do moderního cloudového prostředí na platformě Databricks. Výsledkem nebude jen nová technologie, ale základ pro rozvoj nových schopností datově řízené organizace.

Hledáme datového konzultanta. Jeho předmětem bude migrace standardizovaného DWH budovaného roky do moderní datové platformy Databricks a návazné aktivity. Budete pokrývat celou šíři od konzultace a návrhu až po praktickou realizaci v prostředí AWS.

Co budete dělat

• Návrh a implementace datových řešení na platformě Databricks v cloudovém prostředí AWS
• Tvorba a optimalizace datové architektury — data pipelines, data lakes, lakehouse koncept (Bronze/Silver/Gold)
• Analýza business požadavků a jejich převod do technického návrhu, včetně end-to-end integrace datových zdrojů
• Konverze a optimalizace SQL logiky při migraci mezi datovými platformami
• Návrh a implementace orchestrace datových toků (Apache Airflow nebo ekvivalent)
• Nastavení governance, bezpečnosti a řízení přístupů (Unity Catalog, RBAC)
• Optimalizace výkonu, škálovatelnosti a nákladovosti datových řešení
• Aktivní PoC a validace navrhovaných řešení přímo se zákazníkem
• Sledování technologických trendů v oblasti Databricks, cloudových platforem a jejich aplikace v praxi
• Podpora architektonických rozhodnutí a definice standardů datového managementu v roli hands-on expertního poradce, s důrazem na efektivitu a časová omezení migrace
• Governance a datový life-cycle — metadata management, tagging, datové slovníky, katalogy, nastavení Unity Catalog a nativních možností platformy
• Vyhodnocení přístupu k data quality / DQ managementu, včetně nativních Databricks monitoring/profiling nástrojů a možných hybridních řešení
• Poradenství k orchestraci datových toků — možnosti a kompromisy při použití Apache Airflow ve spojení s Databricks jobs, včetně best practices a standardů
• Podpora při definování DevOps přístupu — CI/CD, metadata/template-driven přístup, monitoring a provoz, napojení na datové slovníky a katalogy (včetně nástrojů)
• Definice základních standardů a konvencí — naming conventions, struktura repozitářů, principy nasazení a vybrané governance guardrails

Co od vás očekáváme

Obecné předpoklady

• Nejdůležitější je proaktivní týmový přístup a chuť dotahovat věci do konce — neočekáváme, že umíte vše. Hledáme člověka, který se ptá, učí se za pochodu a táhne za jeden provaz s týmem.
• Schopnost srozumitelně komunikovat — s týmem i se zákazníkem, bez ohledu na technickou úroveň posluchače
• Zkušenost s prací v dynamickém prostředí, kde se věci mění — a to vám nevadí
• Schopnost pokrýt konzultantskou i realizační roli — navrhnout řešení a zároveň se podílet na jeho dodávce

Klíčové znalosti a zkušenosti

• Zkušenosti s Databricks a datovými migracemi jsou silnou výhodou — implementace, integrace, architektura
• Znalost datových platforem a cloudových řešení — AWS výhodou, není KO kritériem
• Zkušenost s PySpark / Spark SQL a Delta Lake — výhodou
• Zkušenost s presales nebo konzultantskou rolí — výhodou
• Silné praktické zkušenosti s Databricks v reálném produkčním prostředí (hands-on)
• Praktická zkušenost s orchestrací Apache Airflow v kombinaci s Databricks
• Silné CI/CD zkušenosti pro Databricks — Git-based vývoj, testování, automatizace nasazení, provoz
• Zkušenosti s data quality / monitoring / DQ frameworky, ideálně v Databricks nebo obdobné moderní datové platformě
• Schopnost dávat praktická doporučení, alternativy a vysvětlit dopady jednotlivých voleb
• Čeština nebo slovenština na úrovni B2–C1, komunikativní angličtina (komunikace s kolegy ze SG)

Výhodou (není podmínkou)

• Zkušenost s migrací datového skladu (např. Teradata, Oracle, SQL Server → cloudová platforma)
• Znalost Teradata SQL dialektu — BTEQ, stored procedures, makra
• Praktická zkušenost s AWS (S3, IAM, EC2/EMR, Direct Connect)
• Zkušenost s nástroji pro automatizovanou SQL konverzi nebo datovým inventarižací
• Znalost Apache Airflow nebo Delta Live Tables

Co vám nabízíme

• Práci na strategických projektech pro významné klienty
• Spolupráci s experty na datové technologie v rámci dynamického týmu
• Možnost profesního růstu, školení a certifikací
• Hybridní pracovní režim (až 2 dny práce z domova týdně)

Benefity

• 20 dní dovolené + 5 Ness days (s narůstajícím počtem dle délky působení)
• 3 sick days
• Příspěvek na Multisport kartu
• Mobilní telefon s neomezeným tarifem a 25 GB dat i pro soukromé účely
• Partnerské benefity (sport, kultura, wellness a další)
• Příspěvek na penzijní připojištění
• Stravenkový paušál
• Jazykové vzdělávání
• Rozvoj odborných i měkkých dovedností

Lokalita

• Praha (hybridní režim)

Nesplňujete všechny požadavky?

Pokud vás tato role zaujala, ale nesplňujete všechny uvedené požadavky, určitě se nám ozvěte. Rádi s vámi probereme vaše zkušenosti a společně najdeme nejvhodnější přîležitost v rámci Ness.

V Ness Digital Engineering budúme pracovní prostředí založené na diverzitě, inkluzi a autenticitě.