Data Engineer (Hadoop)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее. Ждем именно тебя!  Мы команда: витрины данных по продукту «Пакеты услуг». Пакеты услуг – комплексный продукт, предоставляющий спец. офферы на продукты Банка и экосистемы Сбера. Мы ищем инженера по созданию витрин данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в полном цикле разработки, начиная с анализа требований и заканчивая реализацией и поддержкой решений. Мы ожидаем, что кандидат обладает знаниями в области обработки больших данных, владеет Java/Scala и и Python, а также умеет работать с экосистемой Hadoop и Spark.

• проектирование, разработка и сопровождение витрин данных на базе Hadoop

• оптимизация производительности существующих витрин данных

• участие в разработке ETL-процессов для загрузки данных в витрины

• поддержка и мониторинг работы витрин данных

• взаимодействие с бизнес-пользователями для понимания их потребностей и перевода их в технические требования

• взаимодействие с командами разработки и дата-аналитики, по вопросам сбора, обработки и хранения данных

• разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality)

• документирование разработанных решений.

• практический опыт в разработке витрин данных, выстраивании ETL-процессов

• уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности),готовность к созданию инструментов для нужд инфраструктуры и разработки

• опыт работы с Hadoop (HDFS, YARN, Hive) и Spark

• знание Java/Scala и опыт разработки на нём

• опыт разработки на Python

• понимание инструментов и технологий Big Data

• знание принципов построения распределённых систем хранения и обработки данных

• опыт обработки и миграции больших объёмов данным между различными источниками

• опыт работы с системами контроля версий (Git).

• **Будет плюсом:**

• опыт работы с Kafka

• опыт работы с CI/CD инструментами (Jenkins, GitLab CI)

• базовые знания Docker и иных технологий контейнеризации

• опыт работы с системами Unix (bash).

• комфортный современный офис рядом с м. Кутузовская

• возможность выбрать удобный график – офис/гибрид

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера.