Data Engineer
EAGERDEVS · Warsaw, Poland · On-site
Sign up free: we match you to jobs like this, tailor your application and fill the form. 2 free applications every day.
Opis roli
Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.
Zakres obowiązków
Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
Automatyzacja procesów CI/CD (GitLab-CI).
Monitorowanie platformy (Prometheus).
Badania, rozwój i utrzymanie komponentów platformy.
Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.
Wymagania
Minimum 5 lat doświadczenia jako Data Engineer.
Biegłość w programowaniu w Pythonie oraz Scala.
Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
Znajomość Hadoop.
Praktyczna znajomość Kubernetes.
Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.