dbt

dbt — фреймворк аналитического инжиниринга, в котором данные описываются SQL-моделями: каждая модель — это SELECT-запрос, превращающийся в таблицу или представление в базе. SubQuery предоставляет полноценную dbt-IDE в браузере: писать модели, публиковать их и ставить на расписание можно без локальной установки Python и Git.

dbt вообще: модели вместо скриптов

В классическом dbt проект описывается кодом:

  • модели — SQL-файлы с Jinja-шаблонами; каждая модель превращается в таблицу (materialized='table') или представление (view);
  • функция ref() — связывает модели между собой, из ссылок строится граф зависимостей;
  • запуск — dbt run выполняет модели в правильном порядке: сначала предки, потом потомки;
  • тесты и документация — проверки качества данных и описания моделей.
-- models/orders_daily.sql{{ config(materialized='table') }} select  date,  count(*) as ordersfrom {{ ref('raw_orders') }}group by date

Идея dbt: логика данных живёт в коде, версии хранятся в Git, а расписание и окружения — в инструментах поверх.

dbt в SubQuery: IDE вместо локальной сборки

SubQuery закрывает всю обвязку dbt, которую обычно собирают вручную:

Задача В классическом dbt В SubQuery
Окружение свой Python, venv, версии работает в браузере, установка не нужна
Git и ветки локальный репозиторий рабочие области и публикация кнопкой
Запуск локальный dbt run кнопка запуска и задачи по расписанию
Подключения profiles.yml вручную визуальные подключения и targets
Граф зависимостей отдельные инструменты встроенный граф моделей
Совместная работа координация в репозитории роли и рабочие области в проекте

Как устроена работа в SubQuery

  1. Подключение — база данных или Озеро, куда модели пишут результаты (Подключения).
  2. Проект dbt — файлы моделей, конфигурации и документации (Создание и настройка dbt-проекта).
  3. Рабочая область — ветка проекта для изменений; из неё изменения публикуются в основную (dbt-модели).
  4. Запуск — разовый запуск модели или dbt run целиком.
  5. Расписание — задача, которая обновляет модели по cron и уведомляет об ошибках.

Из чего состоит раздел dbt

  • Редактор — вкладки с файлами, автодополнение SQL и Jinja, предпросмотр результатов запроса.
  • Модели — SQL-файлы с конфигурацией материализации.
  • Рабочие области — Git-подобный процесс: изменения, публикация, конфликты слияния.
  • База данных — дерево схем и таблиц подключений.
  • Задачи — расписание запусков, логи, уведомления.
  • Граф — зависимости моделей, найденные по ref().
  • AI — генерация документации моделей (зависит от тарифа, см. AI-токены).