Граф моделей

Граф моделей — это карта зависимостей dbt-проекта: какие модели от каких зависят и в каком порядке они пересчитываются. Граф строится автоматически из функций ref() — вручную ничего рисовать не нужно.

Зачем граф

  • перед правкой модели видно, кто её использует: изменение затронет всех потомков;
  • понятно, почему запуск модели тянет за собой цепочку предков;
  • новые участники быстрее разбираются в структуре проекта — граф заменяет устное описание архитектуры.

Как строится

Каждая ref('model') в SQL модели создаёт ребро графа:

select *from {{ ref('raw_orders') }}   -- предок

dbt собирает связи по всем моделям и выстраивает порядок запуска: сначала предки, затем потомки. Изменённая модель подсвечивается вместе со своими потомками — сразу видно масштаб пересчёта.

Навигация

  • узел графа — модель; клик открывает файл модели;
  • связи читаются от источников слева к финальным таблицам справа;
  • граф показывает и модели, и источники данных проекта.

Доступ к графу задаётся тарифом (Лимиты и квоты).

Граф и задачи

Граф помогает при работе с заданиями по расписанию:

  • селектор +model в задании берёт предков из графа;
  • model+ — потомков: удобно пересчитать все зависимые таблицы после изменения источника;
  • упавший запуск в цепочке останавливает потомков — в графе видно, какие таблицы не обновились.

Что дальше