Инженер данных
Объединённые кондитеры
Москва Apache AirflowPostgreSQLClickHouseHDFSBISQLPrometheusGrafanaPythonpandasSLA
AI-саммари
Инженеру данных предстоит строить и поддерживать ETL/ELT-пайплайны на Airflow, подключать источники и собирать витрины для BI-отчётности. Нужны промышленный Python, сложный SQL и обязательный опыт разработки и администрирования Airflow, желательно с пониманием SLA. Работа в кондитерском холдинге.
Обязанности
- Проектирование и разработка ETL/ELT: Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
- Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
- Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
- Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
- Документация: Ведение технической документации.
Требования
- Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода;
- SQL) Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
- Airflow: Обязательно. Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
- Опыт работы с PostgreSQL;
- Опыт администрирования самого Airflow (настройка, деплой);
- Системное мышление;
- Проактивность;
- Коммуникабельность. Готовность общаться с аналитиками;
- Ориентация на результат.
Будет плюсом
- Понимание важности SLA (времени доставки данных) и качества данных. Будет плюсом;
Условия
- Официальное трудоустройство в крупнейшем кондитерском холдинге России.
- График работы 5/2, стабильный рабочий день с 09-00 до 18-00.
- Офис в шаговой доступности от м. Павелецкая.
- Возможности для профессионального роста и развития.
Источник: www.uniconf.ru (Объединённые кондитеры) 4 ноября 2026