API dbt-задач

API dbt-задач — часть публичного API SubQuery: внешний планировщик (Airflow, cron или собственный оркестратор) инициирует запуск задачи по своему графику, а SubQuery выполняет задачу, пишет лог и уведомляет подписчиков об ошибках. Доступ выдаётся по API-ключу по согласованию с командой SubQuery.

Зачем внешний запуск

  • задачи запускаются из вашего основного оркестратора вместе с остальными процессами компании;
  • зависимости между задачами SubQuery и внешними процессами управляются в одном месте;
  • логика расписания не дублируется между системами.

Без внешнего планировщика задачи SubQuery работают по собственному расписанию (Задачи по расписанию).

Запуск задачи

Запуск выполняется методом launchTask публичного API:

Параметр Обязательный Что делает
taskId да идентификатор задачи dbt из интерфейса
dagId нет идентификатор запуска во внешнем планировщике для сопоставления
vars нет переменные, передаваемые в модель как --vars

Ответ возвращает идентификатор запуска в SubQuery. Дальше задача выполняется как обычный запуск по расписанию: логи и статус появляются в истории задачи.

Лимиты

  • Число запусков ограничено лимитом тарифа «Запуски задач» — при исчерпании запуск завершится ошибкой с сообщением о лимите (Лицензии и рабочие места).
  • Запуск выполняется в основной рабочей области dbt-проекта: опубликованная версия моделей.
  • Статус и лог запуска видны в интерфейсе так же, как для запусков по расписанию.

Уведомления

Подписчики задачи получают письма:

  • при ошибке запуска;
  • при предупреждениях в логах выполнения.

Подписки настраиваются в карточке задачи в интерфейсе — внешние вызовы используют те же уведомления.

Как получить доступ

  1. Обратитесь в поддержку SubQuery с описанием интеграции.
  2. Получите API-ключ и идентификаторы задач.
  3. Настройте вызов launchTask в вашем планировщике.