Инженер данных (платформа ограничений)

Разрабатывать технологии и программные инструменты потокового расчета признаков (фичей) для моделей машинного обучения.

Эффективно взаимодействовать в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows.

Разрабатывать сервисы потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.

Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.

Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.

Общее понимание процессов разработки и эксплуатации моделей машинного обучения, понимание концепции признаков (фичей) моделей.

Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server.

Опыт работы с Apache Kafka для решения задач потоковой обработки данных.

Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования.

Удаленный или гибридный формат работы.

Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков.

Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень.

Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой.

Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.

Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.