Потоки

Поток — это настроенная регулярная загрузка данных из внешнего источника в Озеро. Вы один раз описываете, что забирать, за какой период и как часто, а SubQuery сам выгружает данные по расписанию и складывает их в хранилище проекта.

Как устроен путь данных

flowchart LR
  A[Источник<br/>Яндекс Метрика, VK Ads] --> B[Поток<br/>набор данных и расписание]
  B --> C[Озеро<br/>таблицы Apache Iceberg]
  C --> D[dbt и ноутбуки<br/>модели и анализ]

Поток соединяет источник и хранилище: данные рекламных кабинетов и аналитики приземляются в таблицы Озера, откуда их подхватывают модели dbt и ноутбуки.

Из чего состоит поток

Часть потока Что определяет
Подключение источник данных и права доступа
Набор данных какие данные выгружать: отчёты и поля
Окно данных за какой период выгружать при каждом запуске
Метод вставки как данные ложатся в таблицу: добавление или перезапись
Расписание когда запускать загрузку автоматически

Когда использовать потоки

  • данные нужны регулярно: ежедневно, еженедельно, за скользящий период;
  • вы строите сквозную или маркетинговую аналитику на истории расходов и визитов;
  • не хочется поддерживать собственные скрипты выгрузки через API.

Если данные нужны один раз, проще выполнить выгрузку вручную или подключить базу напрямую.

Поддерживаемые источники

  • Яндекс Метрика — доступна сейчас.
  • VK Ads, Яндекс Директ и другие рекламные кабинеты — подключаются и готовятся к запуску; уточняйте доступность в поддержке.

Подключение источника — отдельный шаг: сначала создайте подключение к кабинету, затем поток (Подключение Яндекс Метрики).

Куда попадают данные

Данные потока сохраняются в Озере проекта. Таблицу можно найти в дереве схемы dbt и в панели «Схема БД» ноутбука и использовать в моделях и SQL-запросах как любую другую таблицу.