Инженер данных (Data engineer)

Предстоящие задачи

• Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow).
• Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений).
• Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД.
• Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных).
• Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений.

Ожидания от квалификации

• Опыт разработки на Python.
• Уверенное владение SQL.
• Уверенное владение командной строкой Linux.
• Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3).
• Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов.
• Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками.
• Умение писать простые бенчмарки (замерять время, память, CPU).

Преимущество

• Опыт работы с Kubernetes (Helm, развертывание стендов).
• Понимание принципов работы с большими данными (колоночное хранение, партиционирование, Parquet).
• Навыки оптимизации запросов и пайплайнов (профилирование, шардирование, партиционирование).
• Опыт работы с Apache Spark (PySpark) и озерными форматами (Delta/Iceberg).

Условия работы

• Полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата
• Начало работы с 7.00 до 11.00, продолжительность рабочего дня 8 часов + 1 час на обед;
• Оплачиваемое работодателем питание в офисе или кафе
• ДМС (добровольное медицинское страхование) - различные варианты программ, страховка от несчастных случаев
• Корпоративные мероприятия и спортивные инициативы (футбол, волейбол)
• Компенсация на занятия спортом
• Возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании