Ozon
Руководитель группы разработки Go, платформа сверок
Ключевые навыки
Описание
Привет! Это команда платформы сверок. Мы развиваем платформу, которая помогает проверять целостность данных в разных системах и убеждаться, что данные, которые одна система передаёт другой, не изменились по пути. Сейчас платформа используется в том числе для SOX-аудита и постепенно развивается в универсальный инструмент для контроля качества данных. Мы работаем с большими объёмами данных и развиваем несколько сервисов вокруг аналитического контура Ozon. Среди них — инструменты для управления репликациями между базами данных, прокси для Vertica и сервисы квотирования ресурсов Trino. Сейчас Trino становится целевой аналитической базой вместо Vertica, поэтому предстоит много задач по развитию платформы и миграции существующих процессов. Ищем технического лидера, который будет совмещать разработку с развитием команды и продуктов. Около 70% времени — инженерные задачи: написание и ревью кода, проектирование решений, развитие технического бэклога. Около 30% — планирование, синхронизация команды и развитие процессов.
Вы будете
- Развивать платформу сверок и связанные с ней сервисы для контроля целостности и качества данных. - Проектировать и реализовывать сервисы для работы с большими объёмами данных, в том числе инструменты управления репликациями между Vertica и Trino. - Писать и ревьюить код на Go, принимать технические решения и развивать архитектуру сервисов. - Планировать развитие продуктов и формировать технический бэклог команды. - Взаимодействовать со смежными командами, разбирать технические проблемы и развивать процессы эксплуатации платформы.
Примеры задач
- Развивать оркестраторы, которые запускают задачи по сравнению и репликации данных между Vertica и Trino. - Участвовать в переходе аналитических процессов с Vertica на Trino и адаптировать под него существующие инструменты. - Развивать прокси и сервисы квотирования, которые управляют доступом сервисов к ресурсам аналитического контура. - Проектировать способы физического сравнения больших объёмов данных между источником и приёмником, учитывая особенности конкретных баз данных. - Разбирать проблемы производительности и надёжности сервисов, работать с метриками, логами и мониторингом.
Нам важно
- Опыт коммерческой разработки на Go. - Опыт работы с большими объёмами данных и распределёнными системами. - Опыт работы с аналитическими или OLAP-базами данных. - Опыт работы с Kubernetes. - Понимание принципов работы PostgreSQL и SQL. - Опыт технического лидерства: проектирование решений, code review, планирование технического развития или координация работы инженеров.
Будет плюсом
- Опыт работы с Trino, Vertica, ClickHouse, Hadoop или Greenplum. - Опыт работы с Kafka, Prometheus и Grafana. - Опыт разработки инструментов для data quality, аудита данных или репликации.
Наш стек
- Go, Python, Vertica, Trino, ClickHouse, Hadoop, Kafka, Kubernetes, Prometheus, Grafana, GitLab CI/CD, Git.