О себе
Опытный Data Engineer с 9 годами практики в построении потоковых и батч-пайплайнов, оркестрации и эксплуатации хранилищ данных. Специализируется на Kafka, Spark, Airflow, облачных DWH и управлении качеством данных. Выстраивает надежные CI/CD для данных, сокращает SLA загрузок и снижает стоимость владения платформами.
Ключевые достижения
- Сконструировал конвейеры CDC на Debezium и Kafka для 37 источников, снизив задержку доставки событий до 2 минут
- Мигрировал 24 TB исторических данных в ClickHouse, ускорив среднее время отчета с 18 до 3 секунд
- Оптимизировал Spark ETL, сократив стоимость кластера EMR на 38% при том же SLA
- Внедрил Great Expectations и покрытие 312 критичных датасетов, снизив инциденты качества на 62%
- Построил DWH на BigQuery с 210 фактами и 480 измерениями, обеспечив 99,95% доступности
- Сократил время развертывания пайплайнов с 3 дней до 2 часов с помощью Terraform и GitLab CI
Опыт работы
Ведущий Data Engineer2021 — н.в.
ООО «Технологии Роста» — Москва
- Проектирование и поддержка потоковой шины на Kafka с пропускной способностью 120 тыс. сообщений в секунду
- Разработка Spark Structured Streaming и батч-пайплайнов в Airflow с SLA до 30 минут
- Внедрение Data Quality через Great Expectations и разметка схем в Schema Registry
- Инфраструктура как код на Terraform и Helm, CI/CD в GitLab, мониторинг в Prometheus и Grafana
Data Engineer2017 — 2021
Группа компаний «Восход» — Санкт-Петербург
- Разработал DWH на BigQuery и orchestrations в Airflow, реализовал SCD2 в dbt
- Настроил CDC из PostgreSQL через Debezium и Kafka Connect, внедрил репликацию в ClickHouse
- Оптимизировал партиционирование и кластеризацию, снизил стоимость запросов на 29%
Младший разработчик данных2014 — 2017
АО «Цифровые Решения» — Новосибирск
- Создавал ETL на Python и SQL Server Integration Services, поддерживал витрины отчетности
- Автоматизировал загрузки через cron и перешел на Airflow, сократив ручные операции
Образование
Прикладная математика и информатика2010 — 2014
Новосибирский государственный университет
Повышение квалификации
Data Engineering on Google Cloud2022
Google Cloud
Профессиональная область и навыки
Инженерия данных и аналитические платформы
Apache KafkaApache SparkAirflowdbtClickHouseBigQueryTerraformGreat ExpectationsЯзыки
- Русский — родной
- Английский — B1
Условия
Полная занятость · Гибридный график · Командировки по согласованию · Доход по рынку
Хобби