Senior ML Engineer (GenAI Data Governanace)

Наша NLP команда занимается задачами, связанными с извлечением информации из документов, диалогов, текстов различной природы. Главной задачей для нас является создание готовых продуктов с LLM под капотом, а также создание self-service для бизнеса, где каждый может создать нужный ему сценарий (скилл) в режиме No-code.

• проектировать и калибровать judge-пайплайны: рубрики, эталонная разметка, согласованность с людьми, борьба с позиционным bias и bias по длине

• строить RAG-поиск для дублей и противоречий: чанкинг, гибридный поиск, реранкинг, проверка противоречий на уровне утверждений

• делать регресс-тесты знаний: golden set, пороги, прогон на каждое изменение промпта или модели

• ловить галлюцинации: извлечение утверждений, привязка к источнику, верификация

• дообучать и дистиллировать judge-модели, чтобы снизить цену и задержку без потери качества

• собирать мультиагентные пайплайны с guardrails и контролем стоимости прогона.

• высшее образование: математика, физика, информатика или профильный data science

• 5+ лет в ML, из них не меньше полутора лет с LLM в проде

• RAG в продакшене, а не демо: с метриками качества, нагрузкой и историей улучшений

• Fine-tuning: SFT, LoRA/QLoRA, желательно DPO. И понимание, когда дообучение не нужно

• опыт построения и калибровки LLM-as-judge. Знаете, как judge врёт и как это ловить

• Guardrails и детекция галлюцинаций

• мультиагентные пайплайны: оркестрация, обработка отказов, ограничение стоимости

• Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл

• английский для чтения статей и документации

• специфика банка: много контрагетов, с ними нужно иногда коммуницировать.

• **Будет плюсом**

• опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища

• графы знаний и онтологии

• NLI, извлечение фактов, работа с разметчиками

• публикации, доклады, open source.

• гибридный формат работы

• годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• регулярные митапы и развитое DS-community

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбер.