Data Engineer (DWH)

Everstar Посмотреть все вакансии

  • Киев
  • Постоянная работа
  • Полная занятость
  • 29 д. назад
Ми — агентство Everstar. Наше завдання — допомагати приватним компаніям оборонної сфери знаходити талановитих людей та наближати перемогу України.Один з наших клієнтів займається виробництвом техніки та радіоелектронних пристроїв, що покращує ефективність ведення бойових дій.Компанія постійно зростає, розвивається та вдосконалює робочі процеси.Зараз розширюється IT відділ, тож ми шукаємо Data Engineer.Необхідні навички та досвід:
  • Вища освіта (технічна, кібернетична, математична або суміжна)
  • Досвід роботи інженером даних від 3-х років, впевнене володіння SQL та практичний досвід роботи з базами даних на високому рівні
  • Airflow: Практичний досвід написання DAG-ів. Вміння будувати стабільні процеси завантаження даних (Incremental load, Full load) та трансформації даних всередині сховища
  • SQL: Впевнене написання складних аналітичних запитів, віконних функцій
  • RDBMS: Досвід розробки (процедури, тригери, функції), розуміння індексів, планів запитів, досвід оптимізації запитів
  • Python: Впевнене володіння мовою для написання скриптів обробки даних, роботи з бібліотеками (pandas, requests, pyodbc). Досвід написання клієнтів для збору даних з різних вебсервісів (REST, SOAP), обробка JSON/XML відповідей та обробка помилок (retries, timeouts)
  • Досвід роботи з системами контролю версій Git (Bitbucket), системами таск-менеджменту (Jira)
Nice to Have
  • Практичний досвід налаштування моніторингу якості даних (Data Quality)
  • Практичний досвід контейнеризації та оркестрації (Docker, Kubernetes)
  • Досвід роботи з хмарними сервісами (AWS, GCP, Azure) для обробки та зберігання даних
  • Досвід роботи з BI-системами: Навички розробки звітів та дашбордів в одній з платформ (Power BI, Tableau, Superset, Looker Studio)
Майбутні обов'язки:
  • Проектування, розгортання та оптимізація корпоративного сховища даних, забезпечення масштабованості та відмовостійкості
  • Створення ETL/ELT-процесів для збору й обробки даних з різних джерел (DBs, Google Sheets, HTTP, API, файли) та їх оркестрація за допомогою Apache Airflow
  • Забезпечення якості та цілісності даних, впровадження механізмів валідації та моніторингу, та контролю
  • Керування метаданими, каталогізація, контроль доступу та підготовка детальної технічної документації
  • Взаємодія та підтримка: Тісна співпраця з дата аналітиками та BI-аналітиками, бізнесом для підготовки необхідних даних, супровід і підтримка існуючих вітрин
Умови роботи:
  • Офіційне працевлаштування
  • Відпустка — 24 календарні дні на рік
  • Медичне страхування після успішного проходження випробувального терміну
  • Можливість пропонувати та втілювати ідеї;
  • Постійний розвиток та розширення експертизи
  • Бронювання військовозобов'язаних за умови наявності актуальних військово-облікових документів
  • Відкрита та професійна команда, яка працює з інноваціями

Everstar