Skip to content

Добавить dbt data quality checks для Streamify core marts#1

Merged
karnaksp merged 1 commit into
mainfrom
streamify-dbt-quality
Jun 15, 2026
Merged

Добавить dbt data quality checks для Streamify core marts#1
karnaksp merged 1 commit into
mainfrom
streamify-dbt-quality

Conversation

@karnaksp

@karnaksp karnaksp commented Jun 15, 2026

Copy link
Copy Markdown
Owner

Summary

  • добавлен data-quality слой для Streamify core marts: dbt schema tests, singular tests и документация
  • Airflow DAG теперь запускает dbt deps и dbt build --select core с timeout-защитой
  • обновлен dbt_utils до 1.3.3 и заменен deprecated surrogate_key на generate_surrogate_key
  • добавлен статический CI-check, который проверяет синхронизацию README, docs, dbt tests и Airflow DAG без доступа к GCP

Purpose

Streamify строит потоковую аналитику музыкального сервиса. Эти изменения добавляют проверяемый слой качества данных, чтобы dashboard по прослушиваниям, пользователям, песням, артистам и локациям не строился на битых связях, дублях и некорректных SCD2 интервалах.

Validation

  • python3 scripts/validate_dbt_quality.py
  • python3 -m compileall -q airflow/dags spark_streaming scripts
  • cd airflow && GCP_PROJECT_ID=dummy GCP_GCS_BUCKET=dummy docker compose config --quiet
  • cd kafka && docker compose config --quiet
  • cd dbt && dbt deps
  • git diff --check

Runtime note

Полный dbt build --select core --profiles-dir . --target prod требует BigQuery adapter и GCP credentials, поэтому PR добавляет статический quality gate и Airflow runtime path, но не выполняет BigQuery build локально.

@karnaksp karnaksp force-pushed the streamify-dbt-quality branch from 2843e2f to de4dba3 Compare June 15, 2026 03:45
@karnaksp karnaksp force-pushed the streamify-dbt-quality branch from de4dba3 to e1e91ad Compare June 15, 2026 03:51
@karnaksp karnaksp merged commit 2f8e9c9 into main Jun 15, 2026
1 check passed
@karnaksp karnaksp deleted the streamify-dbt-quality branch June 15, 2026 03:52
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant