Руководитель команды метрик качества Поиска и Алисы

Яндекс постоянно улучшает свои сервисы. Мы измеряем «счастье» пользователя: помогла ли Алиса решить задачу, насколько быстро и удобно это получилось, вернётся ли человек с похожим запросом завтра. Диалог с Алисой устроен сложнее, чем сессия в Поиске: у пользователя нет выдачи, по которой видно, куда он кликнул, — есть только текст ответа и то, что он сделал дальше.

Чтобы понять, будет ли планируемое нововведение полезным, мы проводим A/B-эксперименты: делим пользователей на две группы, каждой из которых показываем свою версию продукта.

Мы не ограничиваемся базовыми подходами к построению метрик и повышению чувствительности: стараемся разрабатывать новые сигналы удовлетворённости пользователей, находим решения в условиях неполных данных, придумываем неожиданные способы применения машинного обучения и LLM — и как инструмента разметки, и как объекта измерения.

Вы присоединитесь к одной из сильнейших аналитических команд Яндекса, которая создаёт метрики, определяющие развитие Поиска и Алисы. Мы разрабатываем собственные методы оценки качества, решаем сложные исследовательские задачи и внедряем современные ИИ-инструменты, включая LLM-агентов, чтобы автоматизировать рутинную аналитику и сосредоточиться на поиске новых продуктовых инсайтов.

Какие задачи вас ждут

Разработка универсальной метрики приёмки экспериментов Поиска и Алисы
Пользователь не делит свой день на «поход в Поиск» и «разговор с Алисой» — он решает одну задачу теми инструментами, которые оказались под рукой. Мы строим метрику, с которой можно смотреть на поток запросов целиком: она делит его на задачи и оценивает успешность с учётом того, чего пользователь на самом деле хотел.

При этом в ограничении на Алису метрика должна хорошо оценивать эксперименты Алисы, в ограничении на Поиск — поисковые, а это очень нетривиальная задача.

Поиск инсайтов для улучшения моделей
Иногда качество ответа определяется не тем, что модель сказала, а тем, как она подала ответ и насколько её ответ был похож на человеческий. Такие находки мы получаем регулярно, но пока скорее случайно. Вам предстоит построить систему, которая добывает инсайты о поведении пользователей потоком: находит гипотезы в данных, проверяет их экспериментами и превращает в требования к моделям.

Расхождение онлайна и офлайна
Офлайн-метрики модели растут, а онлайн-метрики — нет. При этом новые модели Алисы обучаются по офлайну. Мы хотим разобраться с этим системно: научиться по каждой офлайн-фиче находить следы её влияния в онлайне — изменившийся поток запросов, другие пользовательские паттерны, уходы в Поиск.

Здесь много места для собственных гипотез: на что пользователь реагирует на самом деле и что заложить в ответ в метрику. Эти исследования помогут нам лучше понимать, как скорректировать офлайн-метрики и процесс обучения новых моделей.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

• Руководили командой аналитиков или были техлидом
• Программируете на Python
• Любите математику
• Хорошо знаете теорию вероятностей и математическую статистику
• Умеете решать нестандартные математические задачи
• Читаете и понимаете профильные тексты на английском языке
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

Будет плюсом, если вы

• Применяли машинное обучение
• Победитель или призёр международных или всероссийских олимпиад по математике