API dbt-задач
Содержание
API dbt-задач — часть публичного API SubQuery: внешний планировщик (Airflow, cron или собственный оркестратор) инициирует запуск задачи по своему графику, а SubQuery выполняет задачу, пишет лог и уведомляет подписчиков об ошибках. Доступ выдаётся по API-ключу по согласованию с командой SubQuery.
Зачем внешний запуск
- задачи запускаются из вашего основного оркестратора вместе с остальными процессами компании;
- зависимости между задачами SubQuery и внешними процессами управляются в одном месте;
- логика расписания не дублируется между системами.
Без внешнего планировщика задачи SubQuery работают по собственному расписанию (Задачи по расписанию).
Запуск задачи
Запуск выполняется методом launchTask публичного API:
| Параметр | Обязательный | Что делает |
|---|---|---|
taskId |
да | идентификатор задачи dbt из интерфейса |
dagId |
нет | идентификатор запуска во внешнем планировщике для сопоставления |
vars |
нет | переменные, передаваемые в модель как --vars |
Ответ возвращает идентификатор запуска в SubQuery. Дальше задача выполняется как обычный запуск по расписанию: логи и статус появляются в истории задачи.
Лимиты
- Число запусков ограничено лимитом тарифа «Запуски задач» — при исчерпании запуск завершится ошибкой с сообщением о лимите (Лицензии и рабочие места).
- Запуск выполняется в основной рабочей области dbt-проекта: опубликованная версия моделей.
- Статус и лог запуска видны в интерфейсе так же, как для запусков по расписанию.
Уведомления
Подписчики задачи получают письма:
- при ошибке запуска;
- при предупреждениях в логах выполнения.
Подписки настраиваются в карточке задачи в интерфейсе — внешние вызовы используют те же уведомления.
Как получить доступ
- Обратитесь в поддержку SubQuery с описанием интеграции.
- Получите API-ключ и идентификаторы задач.
- Настройте вызов
launchTaskв вашем планировщике.