Продуктовый аналитик (Гига-ассистент)

Команда разработки AI Бизнес-помощника внутри интернет-банка для предпринимателей (СберБизнес).

• разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge)

• проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества

• планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты

• генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов

• искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению

• формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы

• готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации

• работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты

• хорошее знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость)

• опыт работы аналитиком данных от 1 года

• продвинутое знание SQL

• уверенный Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)

• опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов

• понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG)

• комфортный современный офис

• ежегодный пересмотр зарплаты

• корпоративный спортзал и зоны отдыха

• уникальная система обучения Сбера для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС и льготное страхование для семьи

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа.