Senior LLM Inference Backend Engineer

О роли

Наша команда обеспечивает доступность нейросетей для тысяч пользователей одновременно.

Мы сопровождаем и улучшаем production-платформу для хостинга LLM: ее надежность, производительность и масштабирование.

Кроме того, мы создаём прикладные AI-продукты на базе LLM.

Ищем опытного инженера, которому интересно работать и с платформенной частью, и с продуктовой.

Обязанности

• Инфраструктура и высоконагруженный инференс (Platform Engineering):
• Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты.
• Оптимизация производительности: кэширование, батчинг, etc.
• Надежность и observability: обеспечение SLA и предотвращение регрессий;
• Оценка и внедрение новых LLM.
• Продуктовая разработка (LLM Application):
• Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review;
• Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием.
• Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы).
• Исследования и прототипирование (R&D):
• Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена.
• Исследование новых технологий и подходов для улучшения продуктов.

Требования

• Экспертиза в Python & Backend:
• Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования.
• Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами.
• Архитектура и надежность (Production):
• Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты.
• Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок.
• Глубокие знания LLM & Inference:
• Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы.
• Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами.
• Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями.

Будет плюсом

• Насмотренность в применении AI агентов, мультиагентных систем, оркестрации инструментов.
• Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки: eval-сеты, human eval, etc.
• Опыт Lua-разработки.
• Опыт разработки и интеграции MCP.