Аналитик в отдел аналитики и метрик Поиска

Поиск с Алисой — один из крупнейших технологических продуктов Яндекса, которым ежемесячно пользуются более 110 миллионов человек. В нашей команде создаются метрики, определяющие развитие всего Поиска: мы решаем исследовательские задачи, разрабатываем собственные подходы к анализу качества и активно используем современные ИИ-инструменты, включая LLM-агентов, чтобы быстрее находить инсайты и улучшать продукт.

Мы тратим значительные ресурсы на получение качественных размеченных данных — основы для всех наших ML-моделей. На это уходит очень много денег и очень много времени. Наша команда реализовывает смелый проект по оптимизации этих расходов, заменяет ручную разметку автоматической с помощью актуальных ML-моделей. Мы стремимся значительно сократить затраты на ручную разметку данных и оставить профессиональных асессоров только для сложных случаев, которые требуют особого внимания. Считаем, что за счёт этого нового вектора развития мы сможем добиться прорыва в сокращении денежных затрат, ускорении всех наших ML-процессов и в повышении итогового качества продукта!

Какие задачи вас ждут

Разработка критериев внедрения ML-разметки
Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели.

Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей
Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта.

Улучшение качества разметки ответов Поиска с помощью ML-разметки
Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

Мы ждём, что вы

• Обладаете аналитическим складом ума и опытом работы с данными
• Хорошо знаете Python и SQL для анализа и обработки данных
• Понимаете принципы работы современных языковых моделей (LLM)
• Умеете оценивать качество моделей машинного обучения и интерпретировать метрики
• Способны ясно формулировать требования к инструментам и системам
• Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Будет плюсом, если вы

• Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами
• Участвовали в разработке или настройке языковых моделей
• Знакомы с промпт-инжинирингом для генеративных моделей
• Работали в проектах по оптимизации процессов или сокращению расходов
• Понимаете специфику разметки данных для поисковых систем