Data Scientist / ML Researcher (Оценка и улучшение качества Ai агентов)

Мы команда Центра компетенции по Gen AI в юните Занять и Сберегать. В юните несколько команд создают AI агентов на платформе Цифровой ассистент, помогающих клиенту разобраться с Core продуктами банка такими как Кредиты, Вклады, Автокредиты, Комиссионные продукты. Сейчас перед нашей команда стоит амбициозная задача помочь командам обеспечить высокое качество внедряемых агентов на этапах разработки, внедрения и эксплуатации. Для решения задачи в нашем распоряжении цифровая платформа и широкий набор инструментов, включая различные LLM, а также возможность разрабатывать классические ML модели Мы предлагаем: ·      Возможность с нуля создавать и развивать систему оценки качества Ai агентов, использующую передовые технологии и в перспективе стать стандартом в банке. ·      Работу в кросс-функциональной команде сильных специалистов. ·      Широкое пространство для развития и реализации ваших идей и экспертизы. ·      Современный технологический стек и развитая IT-инфраструктура.

• изучение, использование, создание инструментов для автоматизации оценки качества агентов

• проведение глубокого анализа данных и пользовательских сценариев мультиагентных систем, постановка требований к агентам, для постепенного улучшения их качества

• анализ платформенных механизмов, таких как система роутинга, оркестрации, планирования, управления контекстом и памятью, извлечения инсайтов. Реализация своих собственных механизмов или улучшение платформенных

• разработка комплексной системы метрик качества как отдельных компонентов мультиагентной системы, так и оценка системы в общем.

• создание пайплайнов автоматизации мониторинга и визуализации метрик, в том числе с применением подхода LLM-as-a-Judge.

Будет плюсом:

• высшее техническое или математическое образование

• опыт в сфере машинного обучения и анализа данных от трех лет

• глубокое понимание принципов работы и архитектур LLM, NLP и классических ML-алгоритмов, знание математической статистики и теории вероятностей

• владение на высоком уровне основными инструментами и фреймворками для ML разработки, аналитики и обработки больших данных, работы с LLM агентами (pandas, numpy, sklearn, pytorch, langchain, langgraph, pyspark)

• уверенные практические навыки работы с LLM и промпт-инжениринга

• понимание принципов построения промышленных микросервисных архитектур, мультиагентных систем и LLM-приложений

• навыки работы с генеративными AI-моделями

• опыт создания AI-агентов и использования их в работе будет преимуществом

• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов.

• комфортный современный офис рядом с м. Кутузовская

• формат работы - фул-офис 5\\2

• ежегодный пересмотр зарплаты, квартальная и годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера.