Разработчик бэкенда в Data Transfer

Наша команда делает сервис для поставки данных, который связывает реалтайм-потоки данных на базе YDB Topics и систему хранения и обработки больших данных YTsaurus.

Сервис обрабатывает десятки тысяч поставок (а это петабайты данных) каждый день. Благодаря этому сервисы Яндекса могут решать задачи пакетной обработки (batch processing) и архивного хранения своих данных, а также многие другие.

Мы ищем опытного ответственного разработчика, который будет вместе с нами делать поставки быстрее, надёжнее и удобнее в использовании.

Наши преимущества

• Масштаб: возможность поработать с большими данными и познакомиться с тем, как с ними работают разные команды, получить или передать опыт в данной области.
• Крутые коллеги: мы близко и активно взаимодействуем с другими инфраструктурными сервисами, составляющими технологический фундамент Яндекса (в первую очередь это YTsaurus и YDB).
• Гибкий график и распределённая команда.

Какие задачи вас ждут

Оптимизация производительности и инфраструктурные задачи
Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании. Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом). Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники.

Повышение качества и упрощение эксплуатации
Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели. Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости.

Улучшение User Experience
Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей.

Работа над механизмом поставки exactly-once
Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки.

Развитие сервиса Data Transfer
Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Мы ждём, что вы

• Разрабатывали и эксплуатировали сервисы в проде
• Умеете и хотите писать код на С++ и Python
• Интересуетесь областью работы с данными

Больше о команде

Видео о команде