ML-разработчик в группу разработки рекомендательных систем

Мы создаём рекомендательные системы, которые помогают миллионам пользователей находить именно то, что им нужно. Наша команда работает на стыке рекомендаций, глубокого обучения и инфраструктуры: мы развиваем полный цикл генеративной рекомендательной модели — от подготовки данных и распределённого обучения на десятках GPU до онлайн-дообучения на свежем пользовательском фидбэке и регулярной доставки новых весов в продакшен.

Скорость проверки гипотез — главный фактор роста качества рекомендаций. При этом путь от идеи до работающей в продакшене модели проходит через множество связанных систем: подготовку данных, обучение, инференс, конфигурацию экспериментов и анализ метрик. Мы приводим этот путь к единому виду — фиксируем контракты между системами, покрываем их автоматическими проверками и строим инструменты для воспроизводимой постановки экспериментов. Это повышает надёжность контура и открывает возможность его агентизации: не только инженерных операций, но и самой исследовательской работы — генерации гипотез, запуска серий экспериментов, раннего отсечения неперспективных вариантов и подготовки выводов по результатам.

Что у нас есть:

• Высокая техническая и исследовательская культура
• Сотни топовых GPU и петабайты логов для обучения и инференса моделей
• Развитый инструментарий для прототипирования и проведения экспериментов
• Направление агентизации в самом начале пути: архитектурные решения ещё не зафиксированы, инструменты можно строить с нуля и самому определять, какими они будут
• Вариативность проектов и развитие экспертного опыта в области рекомендаций на различных доменах внутри команды
• Возможность внедрять E2E-решения, которые непосредственно влияют на пользователей

Какие задачи вас ждут

Агентизация офлайн-исследовательского цикла
Значительная часть исследовательских вопросов — архитектура модели, состав обучающих данных, гиперпараметры — проверяется офлайн, на фиксированных датасетах и метриках, без выкатки в прод. Такой цикл замкнут и потому особенно хорошо поддаётся автоматизации: гипотеза, изменение в коде, запуск обучения, сравнение с бейзлайнами, решение. Мы хотим, чтобы агент вёл этот цикл вместе с исследователем: предлагал и ранжировал гипотезы, опираясь на результаты прошлых экспериментов и внешние исследования, вносил изменения в кодовую базу вместе с проверками их корректности, запускал серии обучений и готовил сопоставимые результаты. Так больше времени остаётся на выбор направления и интерпретацию, а не на перебор вариантов.

Агентизация постановки и сопровождения экспериментов
Наш контур — это сквозной конвейер — от подготовки данных и обучения моделей до доставки весов и рантайма инференса. Каждый исследовательский эксперимент затрагивает сразу несколько его звеньев, а скорость и надёжность экспериментов напрямую определяют, насколько быстро растёт качество рекомендаций. Поэтому мы формализуем взаимодействие компонентов: описываем контракты и инварианты в коде, реализуем автоматическую верификацию конфигураций, развиваем наблюдаемость и создаём агентские сценарии для типовых операций: подготовки окружений, запуска процессов обучения, выкатки моделей. Отдельная часть этой работы — аналитика: мы хотим, чтобы система сама выделяла аномалии в метриках, готовила числовую выжимку, сопоставляла эксперимент с историей похожих и предлагала интерпретацию, которую исследователю остаётся проверить. Наша цель — довести постановку эксперимента до одной кнопки и кратно увеличить число гипотез, которые команда успевает проверить. Вам предстоит проектировать эти инструменты и расширять их применение на новые части контура.

Построение среды исполнения для агентов
Агентские сценарии должны выполняться предсказуемо и оставаться прозрачными для человека. Вы будете проектировать среду, в которой они живут: управление контекстом и доступом к внутренним системам, воспроизводимость запусков, подробное логирование действий, точки контроля, где решение принимает инженер, и механизмы отката. Отдельная задача — измерять качество работы самих агентов и улучшать их на основе накопленных траекторий.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждём, что вы

• Работали с LLM и интересуетесь агентскими сценариями, кодогенерацией и автоматизацией инженерных процессов
• Понимаете, как устроен ML-пайплайн: подготовка данных, обучение, валидация, выкатка и инференс модели
• Уверенно владеете Python и пишете надёжный код
• Умеете разбираться в чужом коде и незнакомых системах и предлагать улучшения архитектуры

Будет плюсом, если вы

• Отвечали за обучение или интеграцию генеративных моделей, особенно в рекомендательные системы
• Работали с распределёнными вычислениями и большими данными