Обязанности:
1) Сбор, анализ и формализация бизнес-требований к витринам данных, дашбордам и аналитической отчётности для клиентского, продуктового, операционного и финансового направлений.
2) Проектирование и развитие витрин данных для анализа клиентской базы, транзакционной активности, продуктовых показателей, операционной эффективности и финансовых метрик.
3) Подготовка и оптимизация SQL-запросов для формирования детальных и агрегированных слоёв данных, аналитических выборок и отчётных наборов.
4) Разработка и сопровождение ETL/ELT-процессов с использованием Airflow, Spark и Python для загрузки, очистки и трансформации данных.
6) Работа с Greenplum, ClickHouse и PostgreSQL при построении витрин, агрегатов и аналитических слоёв данных.
7) Использование Hadoop и Spark для обработки больших массивов данных и расчёта показателей для регулярной и ad-hoc аналитики.Подготовка наборов данных для построения дашбордов и аналитической отчётности в Redash.
8) Контроль качества данных: валидация, дедупликация, сверка бизнес-правил, анализ причин расхождений и участие в устранении инцидентов.
9) Формализация логики расчёта KPI, метрик и правил агрегации данных для витрин и дашбордов.
10) Взаимодействие с пользователями и функциональными подразделениями по вопросам корректности данных, витрин и отчётности.
11) Документирование требований, схем витрин, потоков данных и правил расчётов в Confluence, ведение задач в Jira, контроль изменений через Git.

Достижения:
1) Участвовал в развитии хранилища данных объёмом около 4 ТБ и исторического слоя объёмом 600+ млн записей, обеспечив стабильную подготовку данных для аналитической отчётности и витрин.
2) Разработал и доработал 16 витрин данных для клиентской, продуктовой, операционной и финансовой аналитики, сформировав единый слой данных для бизнес-пользователей.
3) Подготовил данные для 19 дашбордов и аналитических отчётов в Redash, сократив время получения ключевых метрик для бизнеса с нескольких часов до 30 минут.
4) Реализовал и сопровождал около 20 DAG’ов в Airflow, автоматизировав загрузку и обновление данных из 8 систем-источников.
5) Автоматизировал обработку и трансформацию данных объёмом до 3 млн записей в день с использованием Python, Spark и SQL, сократив долю ручных операций примерно на 20%.
6) Использовал Python (pandas) и Spark для трансформаций, дедупликации и валидации данных перед загрузкой в Greenplum / ClickHouse, что позволило повысить качество витрин и расчётных наборов данных.
7) Оптимизировал SQL- и Spark-сценарии расчёта показателей, сократив время обновления витрин и подготовки отчётов с 40 минут до15 минут.
8) Формализовал и задокументировал более 20 бизнес-метрик, KPI и правил расчёта, используемых в витринах и дашбордах для аналитики и отчётности.

Технологический стек:
Greenplum, Hadoop, ClickHouse, PostgreSQL, SQL, Airflow, Spark, Python, Redash, ETL, ELT, DWH, Git, Jira, Confluence.