ML-аналитик в команду Вселенной ассистентов

Мы работаем над новыми продуктами — AI-ассистентами на базе LLM. Сердце всей экосистемы — General-ассистент. Это первая точка входа для пользователя: General отвечает на общие вопросы и перенаправляет на нужного ассистента, если задача специализированная.

Задача General-ассистента — понимать запрос и отвечать на общие вопросы с помощью знаний LLM и поиска. Если запрос относится к конкретной сфере — аккуратно маршрутизировать пользователя в соответствующий вертикальный навык: Шопинг, Путешествия и так далее. Запросы могут быть разными — от оформления загранпаспорта до подбора развивающих игр для детей.

Ассистент отвечает за единый стиль общения, качество базового опыта и целостность взаимодействия со всеми ассистентами.

Ищем ML-аналитика, который будет отвечать: — за качество LLM-ассистента: понятность ответов, отсутствие галлюцинаций, корректный роутинг, единый тон общения; — перевод качественных метрик в продуктовые: конверсию в сценарии, удержание, удовлетворенность, глубину использования, эффективность маршрутизации и так далее.

У нас новая команда без легаси-процессов: много экспериментов, быстрые прототипы, постоянная связь с продакт-менеджером и NLP-командой. Ждем аналитика с насмотренностью в LLM-решениях, который будет с нами на одной волне и сможет привносить новые фичи в продукт.

• Создавать и прокачивать систему оценки ассистента — от создания корзинок с запросами и разработки метрик до анализа результатов и добавления фич в продукт

• Организовывать разметку качества руками краудсорсеров и строить автоматизированные пайплайны с LLM-as-a-Judge

• Рассчитывать продуктовые метрики и организовывать регулярную отчетность по продукту

• Искать инсайты в пользовательских диалогах, придумывать эксперименты и предлагать, как еще улучшить качество нашего продукта

• Собирать данные для алаймента нашей языковой модели под задачи ассистентов

• У вас есть опыт на границе продуктовой аналитики и Data Science: чат-боты, рекламные аукционы, поисковые системы, генеративные технологии

• Владеете SQL и Python на уверенном уровне, в приоритете Pandas

• Умеете писать хороший аналитический продакшен-код

• Хотите работать с текстовыми данными в LLM-продуктах

• Пользуетесь LLM в работе и жизни

• Будут плюсом самостоятельные pet-проекты с ML- и LLM-агентами, понимание современных подходов к оценке LLM: LLM-as-a-Judge, инструкции для разметчиков, офлайн- и онлайн-эксперименты, human-in-the-loop

• Гибридный график и офис у метро «Белорусская», в котором есть все что нужно: Т-Клиника, салон красоты, фитнес-зоны, комнаты для сна и медитации. Если захочется поработать на свежем воздухе — терраса с панорамным видом

• Возможность работы в аккредитованной ИТ-компании

• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней

• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью

• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи

• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни

• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами

• Завтраки и обеды в Т-Кафе. В офисе есть ресторан и кофейни, на каждом этаже — кухня, где можно перекусить

• 3 дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию

• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров

• Достойную зарплату — обсудим ее на собеседовании