Менеджер по качеству данных (ML-датасеты)

Качественные данные — основа машинного обучения. От того, насколько датасет полон, точен, репрезентативен и актуален, напрямую зависит качество модели в продукте. Мы создаём датасеты, которые помогают 2ГИС находить дорожные знаки, выделять здания на спутниковых снимках, отличать фотографии меню от интерьеров и оценивать привлекательность контента. Работаем с задачами Computer Vision, NLP и AI. Ищем менеджера по качеству данных, который будет отвечать за создание, развитие и валидацию датасетов для ML-моделей. Ты будешь проектировать процессы сбора и разметки данных, выстраивать контроль качества, автоматизировать повторяемые этапы и вместе с ML-командами улучшать данные на основе результатов моделей.

- Проектировать, запускать и поддерживать процессы сбора, обработки, разметки и валидации данных. - Формулировать требования к датасетам совместно с командами Computer Vision, NLP и AI. - Определять критерии качества данных, организовывать проверки разметки и анализировать ошибки. - Оценивать скорость, стоимость и качество разметки; находить узкие места и улучшать процесс. - Проводить эксперименты с подходами к разметке, автоматизации и контролю качества, анализировать результаты и принимать решения на их основе. - Использовать LLM и другие инструменты автоматизации для ускорения подготовки и проверки данных. - Работать с асессорами и заказчиками: объяснять требования, собирать обратную связь, устранять проблемы в процессе. - Развивать типовые пайплайны и масштабировать успешные решения на новые задачи. - Поддерживать датасеты после запуска: расширять их при дрейфе данных, появлении новых сценариев и изменении требований к качеству модели. - Писать понятные инструкции для асессоров, правила разметки и промпты для LLM.

- Имеешь опыт работы в области качества данных от 2-х лет. - Имеешь опыт с краудсорсинговыми проектами, разметкой данных или контролем качества разметки. - Умеешь декомпозировать неопределённую задачу на измеримый процесс: определить входные данные, правила, критерии приёмки и метрики качества. - Умеешь оценивать и сопоставлять качество, скорость и стоимость разных подходов к разметке. - Владеешь Python на уровне, достаточном для анализа данных, подготовки выборок и написания скриптов для автоматизации. - Умеешь формулировать и тестировать промпты для LLM, оценивать качество результатов и учитывать ограничения такого подхода. - Можешь вести несколько задач одновременно, расставлять приоритеты и прозрачно управлять ожиданиями. - Умеешь вовлекать нужных участников в решение задачи и объяснять сложные вещи понятным языком.

- Знаком с основными принципами машинного обучения и жизненным циклом ML-моделей. - Имеешь опыт работы с датасетами для задач Computer Vision, NLP или генеративного AI. - Знаешь HTML, CSS и JavaScript — это поможет при работе с интерфейсами и инструментами разметки. - Имеешь опыт разработки или доработки внутренних инструментов для разметки, валидации либо контроля качества данных. - Работаешь с метриками качества разметки, inter-annotator agreement, аудитами ошибок или активным обучением.

- Официальное трудоустройство и полностью белую заработную плату. - Можно работать удаленно по РФ. Хочешь гибридный формат? У нас есть офисы в Москве, Санкт-Петербурге, два — в Новосибирске. - ДМС и онлайн-консультации специалистов. - Поддержку выступлений на конференциях и подготовки публикаций. - Доступ к внутреннему учебному центру: курсам, тренингам и профессиональной литературе.