Старший Data Engineer, Платформа доставки данных batching

Привет! Это команда пакетной (batch) загрузки данных в направлении Data Platform. Наша группа отвечает за надежную доставку данных в корпоративное хранилище и развивает экосистему сервисов, которые обеспечивают этот процесс.  

Наш стек 

• Vertica, Hadoop, Trino, Spark, Python, Airflow, Docker, Jupyter Notebook, Apache Superset. 

Вы будете 

• Развивать и писать с нуля инструменты для batch-загрузки данных, обеспечивая их отказоустойчивость и масштабируемость. 

• Оптимизировать и мониторить ETL-пайплайны: мы заботимся о производительности и стоимости наших вычислений. 

• Участвовать в масштабном проекте по миграции: переводим текущие процессы поставки данных с Vertica на Trino. 

• Настраивать мониторинг, писать метрики качества данных (Data Quality) и визуализировать их в Superset. 

Примеры задач 

• Спроектировать и разработать новый пайплайн миграции данных из Vertica в Trino. 

• Провести аудит текущих поставок данных, выявить узкие места и внедрить автоматические проверки Data Quality. 

Нам важно 

• Знание SQL (умение писать сложные запросы, понимание планов выполнения и оптимизации). 

• Понимание принципов работы реляционных и распределенных баз данных. 

• Уверенное знание Python (написание чистого и поддерживаемого кода, опыт работы с библиотеками для обработки данных). 

• Практический опыт оркестрации пайплайнов с помощью Airflow (или аналогичных ETL/ELT инструментов). 

• Опыт работы с PySpark и экосистемой Hadoop. 

Будет плюсом 

• Опыт работы с MPP-базами (Vertica, Trino). 

• Опыт разработки на Go (мы используем его для ряда внутренних сервисов). 

• Понимание принципов CI/CD. 

• Опыт настройки дашбордов в Apache Superset.