Senior Data Engineer (Automated restaurant system)
Sigma Software
- Днепр
- Постоянная работа
- Полная занятость
We are building a new model for sustainable and equitable restaurants bringing environmental and social justice to the fast food world. The project is a highly automated restaurant and cooking line system.This new restaurant concept is based on high-quality vegetable-based food, single-piece flow (no batch production), and a highly optimized supply system. These principles are in place to attain our goal to output as little carbon as possible.Responsibilities
Design, develop, and maintain ETL pipelines using Azure Data Factory, ensuring efficient data flow and transformation
Utilize Databricks for data processing tasks, leveraging PySpark for advanced data manipulation and analysis
Develop and optimize ETL processes within Azure Synapse Analytics, focusing on performance and scalability
Apply expertise in MS SQL Server for data modeling, implementing stored procedures and analytical views to support business requirements
Create visually appealing and insightful reports using Microsoft Power BI, enabling stakeholders to derive actionable insights from the dataRequirements
At least 5 years of professional experience in data engineering
Advanced experience with enterprise Data Warehouse modeling
Experience with Complex ETL process implementation
Experience with Power BI Data Modeling and Reporting (DAX, Power Query, Dashboards Design)
Experience with SQL Development (both MS SQL and Oracle)
Solid experience with Azure Synapse/Data Factory Pipelines, Azure Notebooks/Databricks
Familiarity with Cloud stack technology (AWS, Airflow)
Deep understanding of SAP BW/HANA Modeling, SAP ECC/S4 Corporate Data Extraction
Experience with PySpark Data Processing
Experience with CI/CD
At least Upper - Intermediate level of written and spoken EnglishМи шукаємо Senior Data Engineer, який працюватиме з різними робочими напрямами: від систем управління автоматизацією (робототехніка) до систем управління ланцюгом постачання та інвентаризації, а також з клієнтоорієнтованою платформою замовлень наступного покоління. Ти приєднаєшся до мультидисциплінарної команди, до складу якої входять шеф-кухарі, маркетологи, UX-дизайнери, виробники та експерти з логістики, які працюють в американської компанії.Звучить цікаво, чи не так? Читай далі!ПроектМи будуємо нову модель сталого та чесного ресторану, яка принесе екологічну та соціальну справедливість у світ фаст-фуду. Проєкт являє собою високоавтоматизовану систему ресторанів та кухонних ліній.Ця нова концепція ресторану базується на високоякісних продуктах харчування на рослинній основі, безперервному потоці (без серійного виробництва) та високооптимізованій системі постачання. Ці принципи застосовуються для досягнення нашої мети - мінімізувати викиди вуглекислого газу.Обов'язкиПроєктувати, розробляти та підтримувати конвеєри ETL за допомогою Azure Data Factory, забезпечуючи ефективний потік та перетворення данихВикористовувати Databricks для задач обробки даних, використовуючи PySpark для розширеної маніпуляції та аналізу данихРозробляти та оптимізувати ETL-процеси в межах Azure Synapse Analytics, зосереджуючись на продуктивності та масштабованостіЗастосовувати знання MS SQL Server для моделювання даних, впровадження збережених процедур та аналітичних поглядів для підтримки бізнес-вимогСтворювати візуально привабливі та змістовні звіти за допомогою Microsoft Power BI, дозволяючи зацікавленим сторонам отримувати практичні висновки з данихВимогиЩонайменше 5 років професійного досвіду в галузі інженерії данихПоглиблений досвід моделювання корпоративних сховищ данихДосвід реалізації складних ETL-процесівДосвід роботи з моделюванням даних та звітністю Power BI (DAX, Power Query, Dashboards Design)Досвід розробки SQL (як MS SQL, так і Oracle)Значний досвід роботи з Azure Synapse/Data Factory Pipelines, Azure Notebooks/DatabricksЗнання технології хмарного стека (AWS, Airflow)Глибоке розуміння моделювання SAP BW/HANA, SAP ECC/S4 Corporate Data ExtractionДосвід роботи з обробкою даних PySparkДосвід роботи з CI/CDРівень письмової та розмовної англійської мови не нижче Upper - Intermediate
Rabota