dbt
Содержание
dbt — фреймворк аналитического инжиниринга, в котором данные описываются SQL-моделями: каждая модель — это SELECT-запрос, превращающийся в таблицу или представление в базе. SubQuery предоставляет полноценную dbt-IDE в браузере: писать модели, публиковать их и ставить на расписание можно без локальной установки Python и Git.
dbt вообще: модели вместо скриптов
В классическом dbt проект описывается кодом:
- модели — SQL-файлы с Jinja-шаблонами; каждая модель превращается в таблицу (
materialized='table') или представление (view); - функция
ref()— связывает модели между собой, из ссылок строится граф зависимостей; - запуск —
dbt runвыполняет модели в правильном порядке: сначала предки, потом потомки; - тесты и документация — проверки качества данных и описания моделей.
-- models/orders_daily.sql{{ config(materialized='table') }} select date, count(*) as ordersfrom {{ ref('raw_orders') }}group by date
Идея dbt: логика данных живёт в коде, версии хранятся в Git, а расписание и окружения — в инструментах поверх.
dbt в SubQuery: IDE вместо локальной сборки
SubQuery закрывает всю обвязку dbt, которую обычно собирают вручную:
| Задача | В классическом dbt | В SubQuery |
|---|---|---|
| Окружение | свой Python, venv, версии | работает в браузере, установка не нужна |
| Git и ветки | локальный репозиторий | рабочие области и публикация кнопкой |
| Запуск | локальный dbt run |
кнопка запуска и задачи по расписанию |
| Подключения | profiles.yml вручную |
визуальные подключения и targets |
| Граф зависимостей | отдельные инструменты | встроенный граф моделей |
| Совместная работа | координация в репозитории | роли и рабочие области в проекте |
Как устроена работа в SubQuery
- Подключение — база данных или Озеро, куда модели пишут результаты (Подключения).
- Проект dbt — файлы моделей, конфигурации и документации (Создание и настройка dbt-проекта).
- Рабочая область — ветка проекта для изменений; из неё изменения публикуются в основную (dbt-модели).
- Запуск — разовый запуск модели или
dbt runцеликом. - Расписание — задача, которая обновляет модели по cron и уведомляет об ошибках.
Из чего состоит раздел dbt
- Редактор — вкладки с файлами, автодополнение SQL и Jinja, предпросмотр результатов запроса.
- Модели — SQL-файлы с конфигурацией материализации.
- Рабочие области — Git-подобный процесс: изменения, публикация, конфликты слияния.
- База данных — дерево схем и таблиц подключений.
- Задачи — расписание запусков, логи, уведомления.
- Граф — зависимости моделей, найденные по
ref(). - AI — генерация документации моделей (зависит от тарифа, см. AI-токены).