Архитектор данных (команда АС ЦАРС)

АС ЦАРС — это централизованный архивный сервис, масштабный продукт, который охватывает всю Россию. У нас хранятся все документы всех отделений банка: электронные, физические и не только. Мы знаем, когда, где, во сколько и через чьи руки проходил документ по пути от отделения в хранилище и из хранилища в утилизацию. В хранилищах трудятся 1000 человек и сотни роботов, да, мы используем полностью автоматизированные хранилища с разреженным воздухом. Наш продукт упрощает жизнь сотрудникам банка и внешним контрагентам, предоставляет возможность найти и получить скан документа или заказать оригинал с доставкой. Продукт является облачным решением в контейнерной среде, построен в микросервисной архитектуре и активно развивается. Вся наша разработка разбита на множество кросс-функциональных команд, в каждой из которых есть представители разных функций — аналитики, разработчики, специалисты по качеству, продуктовые менеджеры. Команда формируется вокруг определённой части сервиса, а её состав определяется направлением деятельности.

• развитие и сопровождение СУБД: оптимизация конфигурации, мониторинг нагрузки, планирование ёмкости (Capacity Planning) и устранение инфраструктурных узких мест

• архитектурное проектирование данных: дизайн схем для новых микросервисов, выбор стратегий шардирования и партиционирования, ревью архитектурных решений аналитиков на соответствие реляционной модели.

• построение потоков данных и аналитики: настройка логической репликации и CDC между кластерами, развитие Greenplum (distribution keys, ресурсные очереди), управление ETL-процессами в экосистеме Hadoop (HDFS/Hive/Oozie/YARN)

• оптимизация производительности SQL: рефакторинг сложных запросов, анализ планов выполнения, разработка хранимых процедур (PL/pgSQL) и проведение массовых трансформаций больших объёмов данных.

• управление жизненным циклом данных: миграция данных между версиями СУБД или движками без даунтайма, вывод из эксплуатации устаревающих компонентов, обеспечение отказоустойчивости и резервного копирования

• экспертная поддержка разработки: активное участие в код-ревью SQL-запросов разработчиков, консультирование по выбору индексов и типов данных, помощь 2–3 линиям поддержки в расследовании инцидентов (блокировки, ожидания)

• мониторинг и автоматизация процессов: внедрение мониторинга метрик БД (Prometheus/Grafana/Zabbix), написание скриптов автоматизации (Bash/Python), интеграция миграций схемы данных (Flyway/Liquibase) в CI/CD пайплайны контейнерной среды (Kubernetes)

• создание стандартов работы с данными: разработка архитектурных шаблонов и паттернов доступа к данным, определение корпоративных стандартов именования, индексирования и версионирования баз

• стратегическое планирование архитектуры: формирование целевой архитектуры хранения данных продукта (монолит vs микросервисы), оценка трудозатрат и создание технического видения развития системы на горизонте 1–3 лет

• менторство и кросс-функциональное взаимодействие: обучение разработчиков и младших специалистов работе с СУБД, согласование требований к инфраструктуре со смежными архитекторами для обеспечения целостности потоков данных.

Будет плюсом:

• опыт работы с СУБД PostgreSQL, Greenplum (и аналогичными) — от 5 лет. Общий опыт работы с СУБД — не менее 7 лет

• опыт работы с экосистемой Hadoop: Hive, HBase, HDFS, конфигурирование Oozie, YARN

• опыт развертывания и настройки экземпляров СУБД исходя из специфики нагрузки и рабочих процессов, которые будет обслуживать база данных

• глубокое понимание устройства реляционных баз данных, понимание реляционной модели данных и того, как эта теория отражается в реализациях реляционных СУБД

• опыт работы с оптимизацией запросов

• понимание типов блокировок в СУБД (уровни изоляции, взаимоблокировки, явные и неявные блокировки) и умение диагностировать проблемы с конкуренцией

• владение принципами физической и логической репликации и CDC (Change Data Capture): pglogical, Debezium, Kafka или аналогичные механизмы

• опыт разработки хранимых процедур, функций и триггеров на PL/pgSQL или аналогичных процедурных языках СУБД

• опыт промышленной обработки больших объёмов данных: массовые исправления, перенос и трансформация таблиц, построение ETL-процессов

• навыки написания сложных SQL-запросов с использованием оконных функций, CTE, рекурсивных запросов

• опыт написания скриптов на Bash/Python для автоматизации процессов обслуживания, резервного копирования, мониторинга и восстановления

• опыт работы в кросс-функциональных командах и участие в полном цикле разработки

• знание и понимание языков программирования (Java, Python, Rust и т.п.)

• опыт работы в контейнерных средах (Kubernetes, OpenShift) и понимание особенностей работы СУБД в таких средах

• опыт настройки мониторинга СУБД (Prometheus + экспортеры, Zabbix, Grafana) и построения алертинга

• навыки работы с генеративными AI-моделям

• комфортный современный офис в Москве, ш Варшавское (Бизнес-центр Чайка Плаза), 25Астр6

• график работы – офис на период испытательного срока, далее возможен гибрид

• ежегодный пересмотр зарплаты, квартальная и годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте (для Junior позиций)

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера