Data Engineer (кредитные продукты)

Мы - команда прототипирования моделей ПВР (IRB-подход). Мы обеспечиваем данными процесс разработки и валидации моделей оценки кредитного риска (PD/LGD/EAD) для соблюдения нормативов Банка России. От нас требуется не только разработать, реализовать алгоритм и написать скрипт, но и глубокое понимание данных, способность объяснить поведения тех или иных метрик во времени на основе данных. В периметр наших задач входит: \- Подготовка витрин таргетов и фичей для обучения ML-моделей вероятности дефолта (PD), уровня потерь при дефолте (LGD) и величины кредитного требования (EAD) в dev среде. \- Сборка ad-hoc выгрузок в рамках запросов Банка России, внутреннего и внешнего аудита. \- Прототипирование, разработка и поддержка промышленной витрины для мониторинга качества моделей PD/LGD/EAD с использованием метрик PowerStat, PSI, Loss Shortfall, Gini и пр Кого ищем Senior (Middle) Data-Engineer с функцией анализа данных

• анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)

• полный цикл создания расчетных модулей на Spark SQL: от сбора требований и проектирования алгоритма до написания кода и оптимизации в dev среде

• повышение производительности тяжелых пайплайнов на Spark SQL при работе с большим объемом данных (ТБ данных).

• взаимодействие с владельцами данных, разработчиками моделей, валидаторами и аудиторами

• сопровождение и доработка промышленной витрины данных для расчета мониторинга качества моделей

Будет плюсом:

• профильное высшее образование (техническое\\математическое\\физико-математическое). Топ вузы- как преимущество.

• опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления.

• опыт работы с большим объемом данных

• навык анализа требований бизнеса и их перевода в оптимальный алгоритм SQL-запроса

• понимание основ статистического анализа.

• продвинутый SQL - агрегация, все виды join, оконные функции, ранжирование, union, оптимизация запросов, циклы.

• опыт работы в банковских рисках в рамках ПВР проектов по аналогичным задачам

• опыт работы в банке с данными физических лиц и понимание работы кредитных продуктов

• опыт разработки и сопровождения промышленных витрин данных с использованием технологий Spark/Hadoop

• опыт автоматизации тестов качества данных (Data Quality)

• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимущество

• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов

• инструментальное владение AI для анализа, генерации и автоматизации

• комфортный современный офис по адресу: Кутузовский 32, корпус Б

• офисный формат работы

• ежегодный пересмотр зарплаты

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера.