-
Управление пайплайнами: Проектировать, разрабатывать и поддерживать надёжные ETL/ELT-пайплайны с использованием Apache Airflow.
-
Оптимизация Lakehouse: Управлять и оптимизировать данные, хранящиеся в Lakehouse-форматах (Delta / Parquet), обеспечивая эффективное хранение и быстрый доступ к данным.
-
Интеграция данных: Синхронизировать данные между PostgreSQL, ClickHouse и центральным Lakehouse для поддержки пакетной аналитики.
-
Поддержка инфраструктуры: Использовать Microsoft Fabric для объединения data engineering, data science, а также Azure DevOps для управления версиями и процессами разработки.
-
Взаимодействие с командами: Тесно сотрудничать с кросс-функциональными командами для интеграции Lakehouse-форматов данных в downstream-сервисы и прикладные системы
-
Опыт работы Data Engineer от 3-х лет.
Orchestration: Практический опыт работы с Apache Airflow и PySpark для управления рабочими процессами. -
Платформы данных: Подтверждённый опыт работы с Microsoft Fabric и облачными data-платформами
-
Языки: Экспертный уровень владения Python и продвинутый уровень SQL.
-
Базы данных: Уверенное знание PostgreSQL (реляционная БД) и ClickHouse (OLAP / колоночная БД).
-
Big Data: Сильный опыт работы с Apache Spark и PySpark (является большим преимуществом).
-
Архитектура: Понимание архитектуры Lakehouse и опыт работы с открытыми табличными форматами (Delta Lake).
- Динамичный и быстроразвивающийся бизнес с ресурсами для создания лучшего продукта на рынке Retail.
- Ежегодные премии по итогам Performance Review.
- Свободу от дресс-кода и культуру, способствующую росту и развитию.
- Партнёрские программы по обучению иностранным языкам и прокачке скиллов от Skillbox, Geekbrains и SkillFactory.
- Карта лояльности с 10% кэшбэком на покупки в сети Korzinka (первые 6 месяцев - 2%).
- Программу материальной помощи в различных жизненных ситуациях.
- Referral бонусы за рекомендации сотрудников.
- Поддержку ментора для быстрой адаптации новых сотрудников.
Ключевые навыки
- Python
- SQL
- PySpark