Lead data engineer

Мы – команда **Базовых витрин B2C** – создаем платформу, которая позволит собрать, обработать и предоставить потребителям чистые и качественные данные по продуктам и внутренним процессам экосистемы Сбера. Наша команда занимается развитием data-продуктов внутри платформы. Мы проектируем, разрабатываем и внедряем в промышленную эксплуатацию надежные пайплайны подготовки интегрированных данных, которые будут использоваться тысячами потребителей и бизнес-процессов экосистемы Сбера для аналитики, ML и продуктовых решений. Вы получите опыт работы с настоящими большими данными, современным технологическим стеком, а также сможете влиять на платформу и наблюдать результат своей работы.

• загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, Spark, плоские файлы)

• проектирование и разработка аналитических витрин данных

• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин. Анализ и устранение проблем производительности

• разработка автоматизированных инструментов для оценки качества данных

• разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных

• разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных

• предоставление экспертной поддержки потребителям по вопросам данных

• навыки работы с генеративными AI-моделями;

• опыт создания AI-агентов и использования их в работе будет преимуществом

• опыт использования GigaChat, Kandinsky и аналогов впродуктах, навыки создания и использования AI-агентов

• инструментальное владение AI для анализа, генерации и автоматизации.

• высшее профильное образование (инженерное/математическое/в сфере IT), технический английский язык

• опыт работы 3+ года в качестве Data Engineer / ETL Developer

• отличное знание SQL и современных промышленных СУБД (PostgreSQL/Greenplum и т.д.)

• Java/Scala на уровне middle+

• знание и опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN, Hbase и т.д.)

• знание основных понятий и концепций из области проектирования и построения DWH

• умение пользоваться терминалом Linux, знание основных команд и утилит

• опыт работы c CI/CD (Jenkins, GitLab)

• знание Git

• ежегодный пересмотр зарплаты и годовая премия

• расширенный ДМС и льготное страхование для семьи

• уникальная система обучения Сбера для профессионального и карьерного развития

• выгодная ипотека для сотрудников

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа.