Старший бэкенд-разработчик в команду LLM Gateway

- развивать платформу LLM Gateway для всего Авито, чтобы создавать продукты с LLM было быстро и удобно; - автоматизировать выдачу и настройку доступов к моделям; - развивать управление потреблением LLM: - рассчитывать стоимость LLM-вызова; - настраивать бюджетные лимиты для клиентов и приоритеты; - развивать динамическую балансировку трафика между LLM-моделями; - определять SLA платформы и методику его расчёта: - настраивать мониторинг и алёрты; - поддерживать выполнение SLA; - интегрироваться с платформой инференса: - автоматизировать развёртывание моделей; - открывать доступ к моделям для пользователей в инфраструктуре Авито; - взаимодействовать с DS-инженерами, погружаться в работу LLM, следить за развитием индустрии и внедрять новые технологии.

- лидировали крупные стримы с высокой степенью неопределённости: - собирали требования; - планировали работу; - декомпозировали задачи; - отвечали за реализацию и мониторинг результатов; - поддерживали критическую высоконагруженную инфраструктуру: - настраивали мониторинг и алёрты; - участвовали в дежурствах 24/7; - программируете на Python или Go от 5 лет; - имеете опыт в MLOps или LLMOps: поднимали и поддерживали инфраструктуру для автоматизации работы с ML- и LLM-моделями; - понимаете базовые принципы работы LLM: чем prefill отличается от decode, зачем нужен KV-cache, что такое TTFT.

Наша команда развивает LLM Gateway — единую точку доступа в Авито к языковым моделям. Мы помогаем продуктовым командам быстро и безопасно получать доступ к подходящим моделям, прозрачно управлять лимитами, видеть стоимость каждого запроса и мониторить поведение моделей в продакшене.

- работали с LLM API и LLM Gateway или аналогичными решениями, например LiteLLM; - создавали внутренние платформенные решения; - работали с системами мониторинга LLM, например Langfuse или Opik; - создавали и поддерживали административные интерфейсы для внутренних пользователей; - работали с Kubernetes и GPU; - работали с DWH, например ClickHouse или Trino.

- расширенная забота о здоровье: ДМС, страхование жизни, онкострахование; - сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких; - корпоративный спорт: групповые тренировки, велбиинг-приложение; - спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование; - компенсация питания.