ML Team Lead (NLP/LLM)

Мы — исследовательская команда, на переднем крае LLM-технологий. Мейнстрим-рецепт LLM для нас — это потолок, который мы пытаемся пробить. Ищем архитектурные ходы, новые objective-функции, нестандартные режимы reasoning'а — всё, что может дать кратный прирост качества/скорости. Жизненный цикл идеи: от гипотезы → PoC-фреймворк → прод. флагманской LLM. Если коротко: ищем людей, которым интересна прикладная исследовательская работа в среднем и высоком risk-reward профиле. Направление, под которое ищем лида: омнимодальная память. — как модель хранит, обновляет и использует знание за пределами контекстного окна — по тексту, аудио, видео — память как часть архитектуры, а не обвязка вокруг модели: обучаемые механизмы записи и чтения, консолидация, забывание — длинный контекст и длинные сессии, работа с KV-кэшем — метрики и бенчмарки под память — чем меряем прогресс, чтобы не обманывать себя — стыковка с остальными треками команды: reasoning, агенты, инференс Над чем работаем помимо этого Альтернативные архитектуры — encoder-decoder, гибридные attention (linear + softmax), sparse/MoE с нестандартным dispatching, итеративные/loop-трансформеры Новые training objectives и режимы обучения — multi-token и future-state prediction, RL-pretraining, дистилляция против ансамблей teacher-моделей Reasoning — латентный/омнимодальный reasoning, обучаемые value-сети, MCTS-подобный поиск, self-play, ансамбли гетерогенных моделей Эффективность и inference — адаптивные вычисления, MoD/early-exit, serving для нестандартных архитектур Специализированные направления — символьные/фонетические задачи, креативная генерация, agentic capabilities Часть гипотез доедет до PoC/прода, часть умрёт на small-scale. Это ожидаемо.

— Собрать и защитить план направления: какие гипотезы берём, какие не берём, чем меряем успех — Разбирать существующие LLM-пайплайны до компонент и находить места для апгрейда не на 1%, а в разы — Вести несколько гипотез параллельно — от абляций до полного pretrain/post-train цикла со scaling laws — Обучать, валидировать и имплементировать новые архитектуры и objectives — иногда с залезанием в инфраструктуру (kernel'ы, training-фреймворк, serving) — Упаковывать результаты в PoC, инференс-движок, пилоты — Растить команду под трек: нанимать, ставить задачи, ревьюить код и эксперименты — Публиковаться на A/A\*-конференциях — опционально, но поощряем

— Глубокое понимание современного трансформера и всех этапов LLM-пайплайна — Качественный воспроизводимый ML-код, опыт обучения в multi-GPU (лучше multi-node) режиме — Практический опыт на каком-то из этапов LLM-строения — индустрия или серьёзный pet-project, формат не принципиален — Хорошая насмотренность по литературе, способность читать paper'ы критически — отличать зёрна от плевел — Умение быстро валидировать смелые гипотезы Будет плюсом — опыт в классическом ML/NLP до эпохи больших моделей — публикации уровня A/A\* и опыт прохождения review-цикла — large-scale training (multi-node, FSDP/DeepSpeed/Megatron) — призовые места на Kaggle и подобных Предлагаем:

• compute без бюрократии

• выделенная команда на направление и инженерная поддержка под скейлинг

• прямое участие в стратегии направления — что делаем, во что не верим, на чём фокусируемся на длинном горизонте

• комфортный современный офис - м. Кутузовская

• ежегодный пересмотр зарплаты, годовой бонус

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа.